理应资讯
制造智能化

英伟达 Cosmos Framework 公开仿真菜谱:多相机与激光雷达闭环评测

理应编辑室 ·

英伟达 11 月 2 日在开发者博客公开 Cosmos Framework 仿真菜谱,说明如何用 Cosmos 3 Nano 检查点生成多相机视频与对齐激光雷达,供自动驾驶和机器人闭环评测。

英伟达开发者博客在 11 月 2 日介绍了 Cosmos Framework 的新一批仿真配方。面向自动驾驶、双臂机器人与手术场景,文章说明如何用已发布的 Cosmos 3 Nano 检查点,按菜谱生成多相机视频,并在需要时输出对齐的激光雷达观测,供合成数据与闭环策略评估使用。

自动驾驶一侧拆成两条路径。Transfer-Auto 按提示词与 World Scenario Map 控制,对整段多视角片段做双向去噪,适合离线造数;同一套道路布局与车辆轨迹下,改提示就能把白天行驶变成雨夜,用来扩充感知训练的天气与光照变化。Sim-Auto 则是因果、少步蒸馏版本,按潜空间小块自回归生成:策略或人工驾驶输入先经 WSM 渲染成场景控制,模型再吐出新观测并喂回策略,形成闭环。博客给出四卡参考命令,分辨率可到 480p 或 720p,相机数量可在支持的 Hyperion 套件视角中选取,并写明联合生成激光雷达时需要对应的 HD-map 距离图控制。

机器人与手术侧同样配了配方。Sim-Transfer 把深度、分割、边缘或模糊视频转成外观可变的 RGB,同时尽量保持几何与运动;Sim-Bimanual 按当前场景与机器人动作生成下一帧观测,覆盖 YAM、AgiBot 等双臂设置,可供策略或摇杆交互。手术方向则有基于 Open-H-Embodiment 后训练的 H-Embodied-Nano,以及面向实时闭环的蒸馏模型 H-Dreams,用来在缺少完整物理手术仿真器时做离线或交互评测。

同一篇文章还写了 Cosmos NIM 容器化推理。文中按型号与精度给出显存表,并提到量化、投机解码、缓存与路由等加速手段;公开表述称,在经验证的配置下,H200 上投机解码有约二到三倍的均值加速。启动示例要求准备 NGC 密钥、Docker 与 NVIDIA Container Toolkit,并按 latency 或 throughput 选择性能档。开发者若只用开源路径,也可走 PyTorch、vLLM-Omni、SGLang 等运行时。

这些仿真检查点更早在 Hugging Face 放出。以 Cosmos3-Nano-Sim-Auto 为例,模型卡标注 10 月 20 日发布,许可为 OpenMDW 1.1,声明可用于商业或非商业,并自报约 160 亿可训练参数;它由 Transfer-Auto 再经因果蒸馏得到,面向闭环驾驶评测与多传感器合成数据。11 月 2 日长文的重点,是把 Framework 技能、参考菜谱与 NIM 步骤写清楚,方便团队先复现官方样例,再改传感器、动作空间与数据域。落地仍要 Linux、NVIDIA GPU、Hugging Face 访问与足够显存;文中吞吐表显示,七相机 720p 单卡帧率已经有限,多 GPU 优化仍在进行。厂商给出的加速倍数与案例百分比属自测口径,公开稿只保留可核对的产品能力与硬件前提。

Framework 本身还被写成更宽的模型开发工作台:除 Cosmos 3 外,也可对接 Alpamayo、GR00T、Qwen、pi0.5 等兼容的 Hugging Face 模型,覆盖微调、多种强化学习路径、蒸馏与量化。11 月 2 日文把仿真菜谱与 NIM 部署写在一起,方便物理 AI 团队从“能跑通样例”走到“改成自己的传感器与策略回路”。若只需要世界模型平台级叙事,英伟达官网博客在 10 月 21 日已有 Cosmos 工具扩展综述;本稿以 11 月 2 日技术菜谱为主事件,避免把更早的平台宣传重复成新发布。使用前仍应核对许可、输入输出安全责任,以及自有数据是否允许送进所选推理栈。 多视角自动驾驶样例还给出了由潜空间块重建后的视频片段说明,并提醒当前公开吞吐量仍受相机数量与分辨率约束。

参考资料

  1. Build World Models for Interactive Simulation with NVIDIA Cosmos · NVIDIA Developer Blog
  2. Cosmos3-Nano-Sim-Auto model card · Hugging Face / NVIDIA