NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0

仿真，长期以来一直是机器人学习行走、滚动和跳跃的试验场，现在正帮助研究人员教机器人完成需要更精细触觉的任务：对齐齿轮、连接电缆和组装小型组件。

从运动到操作的转变是本周德克萨斯州奥斯汀举行的机器人学习会议 (CoRL) 的焦点，同时伴随着自主机器人技术的兴起——这是一种新的范式，将前沿代理集成起来为物理机器人系统创建可解释的代码。

在CoRL上，英伟达正在推出新的开放机器人技术，包括世界动作模型、仿真工具、基准和自主工作流程。

在CoRL的最佳论文奖中，英伟达的两篇论文是数千份提交中的六篇决赛选手之一：

GRAIL (从世界模型生成拟人化运动-操作)，它提出了一种用于机器人学习的3D资产数字生成管道和仿真就绪场景。
RoboTTT: 机器人策略的上下文扩展，它介绍了一种机器人模型和训练配方，在不超过最先进策略推理延迟的情况下，将视觉运动上下文扩展了三个数量级。

这些进步帮助研究人员在复杂任务上训练机器人，在不同的条件下评估其性能，并使用失败来指导进一步的学习——构建从实验室演示到工业部署所需的精确性、适应性和自主性。

英伟达正在与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、加州大学伯克利分校、Walden Robotics和华盛顿大学等合作伙伴合作，将这些进步带给更广泛的机器人社区。

世界动作模型实现机器人自主性的新水平

机器人自主性的下一水平要求机器人感知其周围环境，预测其行动将如何改变环境，并以高度的精确性执行复杂的多步骤任务。世界动作模型正是为此而设计的。

在CoRL上，英伟达推出了 GR00T 2，这是一个基于英伟达Cosmos构建的开源前沿世界动作模型。该模型在多样化的机器人和人类数据上进行训练，包括100,000小时的英伟达开源第一人称数据，使机器人能够学习灵巧的操作技能。主要特点包括：

开箱即用性能： 在50个评估任务中完成了40个至少一次，而没有特定任务的演示。
技能迁移： 从人类演示中学习，并在不同的机器人身体之间迁移技能，而无需机器人演示
小数据泛化：仅用每个任务一次演示，就在50个任务上实现了71%的平均成功率，使用五个演示时成功率提升至95%。
智能体控制：AI智能体可以使用GR00T 2的应用程序编程接口和支持工具按顺序运行技能并从错误中恢复。

GR00T 2目前在所有视觉语言行动和世界行动模型类别中，在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces基准测试中排名前三，并赢得了多个排行榜。

Nexuni正在测试它用于机器人洗衣处理， Foxconn正在将GR00T 2应用于服务器制造的工厂自动化，Siemens正在评估它在工业用例中的应用。

MicroAGI正在使用通过强化学习进行微调的GR00T 2，使用YAM机械臂执行以太网电缆交换。其智能体机器人方法使用Isaac Lab 3.0和Newton自动创建和校准模拟环境，其中策略得到训练。智能体机器人工作流程将在CoRL中展示。

训练能够的机器人需要多样数据。开放的NVIDIA工作流程和模型为研究人员提供了更好的数据收集和标注工具：

对于构建机器人训练数据集的研究人员，NVIDIA的新开放Video to Data工作流程将人类视频转换为模拟机器人演示，并有一个挑战邀请研究人员改进它。
NVIDIA EgoHand开放模型——在CoRL中展示，并在发布后的两周内下载量超过40,000个Hugging Face——重建3D手部运动，使用来自Noitom Robotics的数据。

训练和扩展发生的地方——在模拟中

预训练模型为机器人提供了一套核心技能。模拟让研究人员在将技能部署到物理机器人之前，可以大规模地训练、完善和评估技能。

NVIDIA Isaac Lab，一个开源机器人学习框架，为这项工作提供了基础。其最新版本，Isaac Lab 3.0，允许研究人员使用智能体快速设置具有模拟就绪资源的训练环境，在NVIDIA PhysX和Newton物理求解器之间切换，为基于感知的训练选择渲染器，并将新的强化后训练库应用于基础模型如GR00T。

精确的物理对于将学习到的技能从模拟转移到真实机器人至关重要。与开源物理引擎Newton更紧密的集成，现在允许Isaac Lab模拟可变形物体，如电缆和布料，以及具有许多交互关节的复杂铰接系统，如机器人手。

与Newton集成模拟了草莓在机器人握持下如何变形。

Isaac Lab 和 Newton 结合精确物理与规模，使研究人员能够并行训练数千个模拟机器人。在一个基于视觉的灵巧操作基准测试中，配备 Newton 的 Isaac Lab 3.0 实现了比配备 PhysX 的 Isaac Lab 2.3 高达 2.5 倍的训练吞吐量。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人模拟。

开发者正在扩展 Newton 的功能。在 CoRL，Skild AI 宣布了为具身学习优化的可扩展吞吐量引擎，即 STEEL，这是一个基于 Newton 的新型刚体物理求解器，用于加速使用 Isaac Lab 的机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练 Reflect，这是其结合推理和全身操作的机器人智能模型。

Flexion 使用 Newton 与 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton — 以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim — 来训练和验证用于非结构化真实世界环境的机器人策略。Dyna Robotics 将展示 Isaac Lab 中的并行模拟如何帮助训练其半人形 Taku 机器人用于仓库、酒店和食品服务的工作。

Walden Robotics 正在使用 Isaac Sim 的照片级渲染来在虚拟环境中训练和评估其通用机器人在制造和物流中的应用，而Dexmate 正在探索编码代理如何在 Isaac Sim 中演练和改进操作策略，然后再将其执行到其 Vega 机器人上。

AlphaNIST 在 Isaac Lab 中构建，展示了高效练习如何转化为精确性。单个策略学习 NIST 组装任务板上的所有 20 个任务，使用仅是“是”或“否”的成功信号来操作毫米级部件。与单独每个任务的策略相比，它实现了超过 98% 的训练成功率，而使用约 39 倍更少的 GPU 时间。

AlphaNIST 使用 Isaac Lab 在 NIST 组装任务板上训练单个机器人策略完成 20 个精度任务。

这些结果的背后是成功引导采样，即 SGS，来自华盛顿大学和 NVIDIA。该方法将练习集中在策略大约一半时间成功的任务上，引导训练向它仍在学习的技能发展。使用 SGS，机器人训练可以扩展到超过一百万个并行环境。

The 德克萨斯大学奥斯汀分校的计算机学院和德克萨斯机器人使用 Isaac Sim 和 Isaac Lab 在模拟中训练机器人技能，让学生在物理硬件可用之前就开始开发。

为机器人评估的新工业基准

学习一项技能是一个挑战。在不同的条件下可靠地执行它又是另一个挑战。

NVIDIA Isaac Lab-Arena, 一个用于扩展策略评估的开源框架，使开发者能够组合多样化和可重复的评估，然后在数千种变化中并行运行策略。分析揭示了导致失败的哪些条件，因此研究人员知道他们在下一次训练运行中需要修复什么。其最新版本 0.4 的开发者预览版即将在 CoRL 上发布。

DexBench 和 VABAR，两个新的开源基准测试，是首批设计用于使用 Isaac Lab-Arena 和 Newton 测量机器人灵巧性和适应性的工业任务之一。

DexBench, 由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面带到现实世界的 workflows。使用 NVIDIA Isaac Lab-Arena 构建，它在涵盖零售、物流、制造和酒店的四场景中包含 15 个任务，测试跨对象、空间和物理变化的泛化能力。

Genesis AI, 模拟机器人和其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Manifold 上运行 DexBench， Bifrost 的用于扩展机器人模拟的评估平台，无需设置，内置故障分析，并提供初始评估的免费信用。

VABAR — 代理机器人自动化基准测试 — 来自 UC Berkeley 和 NVIDIA，评估机器人跨六个工业任务。每个任务都带有标准化的变化、难度等级和成功指标。

一个模拟工具分类任务展示了 VABAR 如何评估机器人用于工业 workflows 的操作技能。

代理将技能转换为机器人程序

成功完成任务需要机器人协调多种技能并在出现问题时适应。为这些多步骤任务构建可靠的程序仍然是一个挑战。

代理机器人有助于解决这一挑战。

UC Berkeley 的新 Graph-as-Policy (GaP) 框架使用代理将单个技能连接成机器人程序。代理使用 NVIDIA Isaac 开放式模拟技术测试这些程序，并根据失败进行优化。这有助于研究人员在更少的数据量下扩展开发，同时保持程序对工程师在部署前进行审查和验证的可解释性。

GaP 使用代理和模拟将单个机器人技能转换为协调动作，例如擦拭吧台。

“对我来说，代理机器人是自 1995 年互联网以来最令人兴奋的技术发展，”UC Berkeley 机器人学教授、VABAR 和 GaP 项目的负责人 Ken Goldberg 说。

Ambi Robotics, Bosch Research 和 Siemens 都正在探索 GaP 用于其跨不同工业场景的代理机器人 workflows。

了解更多信息，请加入 NVIDIA at CoRL。