NVIDIA Cosmos-H-Dreams：手术机器人的实时生成式仿真器

背景

手术机器人正从遥操作转向视觉-语言-动作策略，但训练与评估很难：物理平台成本高、复现慢，失败还可能损坏器械或生物材料。传统仿真器难以建模可变形组织、器械交互、高光表面、缝线、针、烟雾与遮挡。

此前 NVIDIA 的 Cosmos-H-Surgical-Simulator 基于 Cosmos-Predict2.5-2B，并在 Open-H-Embodiment 数据集上后训练，能根据初始帧和机器人动作序列生成未来手术视频，用于离线策略评估与合成数据生成。

新版本做了什么

Cosmos-H-Dreams 把上述模型蒸馏为因果、少步的学生模型，由 NVIDIA 的加速流式推理库 FlashDreams 提供服务。它接收初始 RGB 帧与实时的机器人运动学数据，自回归地生成下一段帧。已发布版本针对 da Vinci Research Kit（dVRK）台面缝合任务专门化。团队还与 CMR Surgical 和 Cambridge Consultants 合作，将其接入 Versius 控制器演示实时运行。

蒸馏流程

• 教师模型：从 Cosmos-H-Surgical-Simulator 的 Open-H 检查点出发，采用统一的 44 维动作表示；dVRK 双臂的相对末端执行器平移、旋转与夹爪状态被映射到该表示。教师在 JHU dVRK 台面数据上微调，包含成功演示，也包含掉针、漏抛、打结失败等失败与分布外片段。训练时时间跨度从 12 帧逐步增加到 72 帧。
• 因果预热：预先计算并缓存教师的去噪轨迹，让学生先学会因果注意力与流式 KV 缓存。
• 自强制蒸馏（self-forcing）：训练时学生用自己的生成结果作为上下文，再由冻结教师做分布匹配监督，缓解训练与推理的条件不匹配。模型支持少步扩散，每个潜帧最多少至两步去噪。

推理性能与交互

借助流式 KV 缓存、CUDA Graph 捕获、模型编译等优化，单块 NVIDIA RTX PRO 6000 上从标准推理约每秒十帧提升到约每秒 160 帧的交互水平。交互端包括：浏览器客户端经 WebRTC 收发键盘命令与生成帧；Meta Quest 客户端将手柄追踪映射为机器人动作并经 WebXR 显示合成场景；也可与学习到的策略闭环连接。

适配与边界

官方提供台面缝合预训练检查点，并给出教师微调与自强制蒸馏的逐步指南，便于适配自有本体数据。原文强调该系统是研发平台，不是诊断系统，不能替代术中成像，也不是物理手术机器人的控制器。下一步重点是超越画质的闭环基准，如工具尖端可达性与位姿精度、夹爪循环保真度、空闲稳定性、反事实动作多样性、长时漂移，以及仿真与真实策略结果的一致性。

发布时间

上述内容对应 NVIDIA 于 2026 年 7 月 27 日发布在 Hugging Face 博客的文章。