NVIDIA 发布 Cosmos3-H-Dreams 手术生成式模拟模型

Picture moving the Cadiere grasper, grasping the gallbladder, and lifting it, all within a generated surgical scene that responds in real time. Today, we take the next step and introduce Cosmos3-H-Dreams, bringing interactive generative simulation to the visual and procedural complexity of clinical surgery with our most convincing in-body imagery to date.

我们的第一个Cosmos-H-Dreams版本，基于Cosmos-Predict2.5，将交互式生成模拟带到了dVRK桌面缝合手术中，这是手术机器人的基础验证场。作为世界基础模型（WFM），Cosmos-H-Dreams展示了一种数值模拟的替代方案：它不是显式地模拟场景几何、组织变形和物理交互，而是直接从同步视频和机器人运动学中学习视觉动态，从而生成具有高真实感的交互式桌面任务模拟。

今天，Cosmos3-H-Dreams通过学习CMR Surgical Versius平台上临床手术过程中的视频和机器人运动学记录，提升了这一能力。据我们所知，这是第一个基于临床胆囊切除术记录进行实时生成式手术模拟器，支持实时运动学控制。由Cosmos 3提供支持，并使用NVIDIA的加速流推理库FlashDreams加速，Cosmos3-H-Dreams可以在单个NVIDIA RTX PRO 6000 GPU上交互式运行。

1. 从桌面任务到临床场景

在像Cosmos-H-Dreams这样的受控桌面环境中，器械在一个相对简单的背景下操作。然而，在人体内部，微小的器械运动可能会影响整个场景：组织在牵引下拉伸，反射变化，结构被遮挡，烟雾改变可见性。给定初始图像和提供的工具操作，生成式模拟器必须在生成每个新的视频块时捕捉这些响应，同时保留解剖结构和器械。随着时间的推移，小的错误会累积，逐渐改变器械几何或解剖结构，因此时间一致性至关重要。

因此，视觉真实性是验证的起点，而不是生物力学准确性的证明。生成的场景还必须遵循控制：平移、旋转和抓取器命令应产生连贯的解剖后果。一个看起来合理但忽略这些命令的展开效果不能作为交互式环境。

在实时控制循环中保持这种保真度和响应性需要低延迟生成。Cosmos3-H-Dreams通过一个专门针对临床胆囊切除术并提炼用于实时生成的模型来解决此问题，将条件交互引入具有复杂解剖结构、组织运动和遮挡的场景中。

2. Cosmos3-H-Dreams有哪些新内容？

2.1 Cosmos 3基础和更丰富的手术控制

Cosmos3-H-Dreams基于Cosmos3-H-Embodied-Nano，这是一个有160亿参数的模型，在Open-H-Embodiment上进行了预训练，并专门针对精心策划的胆囊切除术视频和运动学进行了双向教师训练。样本选择针对两个可见且参与的器械：一个左侧Cadiere抓钳和一个右侧单极钩，并将相机命令限制为强调器械驱动的交互。

该模型使用 28 个动作维度：双臂的姿态和夹爪信息，以及能量控制、摇杆轴和摇杆按钮。训练使用 832 x 480 视频并以 10 Hz 的频率对齐动作；该采样率与运行时生成吞吐量不同。

2.2 从教师到四步和两步学生

Cosmos3-H-Dreams 结合了一种教师到学生的训练管道，该管道专为长自回归滚动设计，并通过 FlashDreams 实现加速流式推理。

我们首先在 24 个未来帧上调整双向教师，然后将视野扩展到 72 帧，即 2.4 秒和 7.2 秒（以 10 Hz 为频率）。这使教师能够在更长的序列中学习手术动力学。

接下来，蒸馏将双向教师转换为因果学生，该学生可以在新动作到达时以短块的形式生成视频。因果教师强制准备学生使用记录的上下文进行顺序生成。然后使用 Self-Forcing 在其自身生成的上下文中进行训练，并由教师和学习到的评论家指导。这有助于解决交互式滚动过程中误差的累积。

第一个发布的学生每个生成的块使用四个去噪步骤。然后我们使用两步计划进一步训练该学生以产生第二个发布检查点。两步模型是单独训练的，而不仅仅是运行时使用较少采样步骤的四步模型。

较少的去噪步骤会导致推理时间更快，但代价是视觉质量较低。两个检查点都允许开发人员探索视觉质量和推理成本之间的平衡。

2.3 通过 FlashDreams 进行流式传输

FlashDreams 提供了加速流式运行时。长滚动还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成使用了一个调整后的 FadeMem 模块，该模块在长滚动期间整合了不断增长的关键/值缓存。这补充了 Self-Forcing：蒸馏解决了模型如何从其生成历史中学习的问题，而缓存整合解决了在流式生成期间如何存储该历史的问题。

3. 探索未见轨迹

在临床程序中可能会有并发症或外科医生可以执行“新颖”运动的余地。因此，模拟器必须能够超越训练数据，并生成具有未见运动的连贯帧，并且能够泛化。下面的演示显示了 Cosmos3-H-Dreams 在使用 VR 头戴设备记录的工具动作条件下生成不同的胆囊切除术场景。

这两个视频以相同的初始帧开始，但遵循不同的动作序列，说明了工具控制如何导致同一场景的不同连续性，并具有物理上准确的组织变形。

此外，这些滚动允许我们检查工具是否遵循控制，组织是否对交互做出连贯的反应，以及解剖结构和工具外观是否随时间保持一致。

4. 适应您自己的数据和控制器

Cosmos3-H-Dreams 包含胆囊切除术的四步和两步检查点。该系统可以适应其他具有同步视频和兼容动作表示的数据集和实现。要在自己的数据集上训练实时学生模型，我们提供了完整的教师微调和自我强制蒸馏食谱，在我们的逐步指南中。它描述了数据准备、公共教师训练工具和蒸馏阶段。控制器集成必须使用与训练相同的动作约定和归一化。

5. 下一阶段

视觉真实性的进步开辟了几个研究方向：

模拟完整过程。 扩展覆盖范围和时序一致性，以便系统地探索胆囊切除术的所有阶段，具有清晰的任务边界和成功标准。
连接生成和数值模拟。 将学习到的视觉真实性结合明确的几何形状、接触和组织力学。数值模型和测量数据可以帮助约束和验证变形，使模拟行为既可检查又令人信服。
与外科医生一起评估。 评估解剖准确性、器械行为和组织反应，将专家反馈转化为可重复的基准。
支持更多器械。 超越两个受控工具，实现更丰富的协调、遮挡和交互。
开发自主手术策略。 将世界动作模型与 Cosmos3-H-Dreams 在闭环中耦合，以便策略可以学习定义的胆囊切除术子任务。

这些是研究方向，而不是确定的临床能力。Cosmos3-H-Dreams 是一个研究模拟器，而不是用于患者护理的验证系统。它为在越来越逼真的环境中研究手术交互提供了一个基础。

6. 今天就开始

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：

Cosmos3-H-Dreams 代码和示例：GitHub 仓库
Cosmos3-H-Dreams 模型：Hugging Face 检查点
Cosmos3-H-Embodied-Nano：Hugging Face 模型和GitHub 仓库
适应自己的数据：教师微调和自我强制蒸馏的逐步食谱
Open-H-Embodiment：Hugging Face 数据集
FlashDreams：GitHub 仓库
NVIDIA Cosmos 3：GitHub 仓库

带来你的控制器、你的轨迹和你的研究问题。我们期待看到社区在这些新的手术世界中构建了什么。