Hugging Face 发布通用智能体 JAT:首个通才代理数据集与多模态 Transformer 模型
Hugging Face 推出 Jack of All Trades (JAT) 项目,发布首个用于训练通才代理的数据集及基于 GPT-Neo 的多模态 Transformer 模型。该模型在 Atari、BabyAI 等 157 个任务上平均达到专家性能的 65.8%,其中 BabyAI 得分高达 99.0%。
Hugging Face 推出 Jack of All Trades (JAT) 项目,发布首个用于训练通才代理的数据集及基于 GPT-Neo 的多模态 Transformer 模型。该模型在 Atari、BabyAI 等 157 个任务上平均达到专家性能的 65.8%,其中 BabyAI 得分高达 99.0%。
Pollen Robotics 发布开源库 Pollen-Vision,集成 OWL-VIT、Mobile Sam 和 RAM 等零样本模型,实现无需训练的 3D 物体检测。该库支持在消费级 GPU 上实时运行,例如 RTX 3070 处理单提示帧耗时约 75ms,旨在通过提供空间坐标助力机器人抓取未知物体。
OpenAI 推出 Video PreTraining (VPT) 方法,利用大量 unlabeled 游戏视频数据训练神经网络,使其能够像人类一样通过鼠标和键盘操作游玩 Minecraft。该模型在微调后能完成包括采集资源、制作工具等在内的长期任务,展现了从原始像素输入到复杂动作输出的端到端学习能力。
推荐理由:OpenAI 展示了通过视频预训练让 AI 掌握 Minecraft 复杂操作的方法,为具身智能提供了新路径。
Hugging Face 发布首个基于 Unity ML-Agents 的深度强化学习环境 Snowball Fight,该游戏已托管于 Hugging Face Spaces。团队计划构建开源生态,支持自定义环境的创建、模型保存与分享,并即将推出采用 MA-POCA 算法的 2vs2 协作版本及更多教程。
OpenAI 训练了一对神经网络,利用类人机器人手成功解决魔方问题。该模型完全在模拟环境中通过强化学习训练,并采用了自动域随机化(ADR)技术。系统能处理训练中未见的物理干扰情况,证明强化学习可解决需要极高灵巧性的现实世界任务。
OpenAI 推出 Neural MMO,这是一个支持大量可变数量智能体的持久且开放式任务的大规模多智能体游戏环境。该平台专为强化学习智能体设计,通过引入众多智能体和物种,促进了更好的探索、分化生态位形成以及整体能力的提升。
OpenAI 训练出一只类人机械手,能以空前的灵巧度操控物理对象。
OpenAI 发布了八个模拟机器人环境及 Hindsight Experience Replay 的 Baselines 实现,并公开了机器人研究需求列表。这些资源基于过去一年的研发成果,已用于训练可在物理机器人上运行的模型。
OpenAI 最新机器人技术使完全在模拟中训练的控制器能部署于物理机器人,并实时响应环境中的计划外变化。该技术实现了从开环系统向闭环系统的转变,提升了机器人在执行简单任务时的适应能力。
OpenAI 展示元学习智能体在模拟机器人摔跤任务中,能快速击败更强的非元学习对手。该智能体还能适应物理故障,验证了元学习在动态环境中的鲁棒性。
OpenAI 开源了一款用于机器人仿真的高性能 Python 库,该库基于 MuJoCo 引擎构建。这一工具源自其过去一年的机器人研究积累,旨在提升物理仿真的运行速度。
OpenAI 创建了一种完全在模拟环境中训练的机器人系统,并成功部署到物理机器人上。该系统具备单次演示学习能力,即在观看一次新任务的操作后,即可学会执行该任务。
OpenAI 发布开源机器人模拟软件 Roboschool。该工具与 OpenAI Gym 集成,为机器人仿真提供开源支持。
OpenAI 创建了全球首个完全在仿真环境中训练并部署到物理机器人上的垃圾检测 AI。该模型实现了从模拟训练到实体硬件落地的跨越,展示了 AI 在物理世界感知与交互能力的新进展。