Nvidia 研究 GR00T 2:从人类视频学习动作并预测机器人未来画面
Nvidia 在新研究报告中介绍 GR00T 2,这一世界-动作模型会同时计算下一步动作和未来短片段的画面,从而把人类视频中的动作迁移到机械臂。模型用超过一千块 GB300 芯片训练,包含约 40 万小时佩戴头戴摄像头的人类操作视频;实验室中五指机器人无需针对任务遥操作即可点蜡烛、切香蕉或把包裹抛上传送带,成功率随任务在 10% 到 80% 之间。
Nvidia 在新研究报告中介绍 GR00T 2,这一世界-动作模型会同时计算下一步动作和未来短片段的画面,从而把人类视频中的动作迁移到机械臂。模型用超过一千块 GB300 芯片训练,包含约 40 万小时佩戴头戴摄像头的人类操作视频;实验室中五指机器人无需针对任务遥操作即可点蜡烛、切香蕉或把包裹抛上传送带,成功率随任务在 10% 到 80% 之间。
Ai2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块的开源仿真框架,可自动生成任务与演示数据,并配套训练和评测代码。首轮数据包含 85,336 条长程演示、约 1,600 小时机器人执行数据和 1.44 亿帧,单 GPU 并行生成可达 24 倍实时速度。