NVIDIA Cosmos 世界基础模型

是什么

NVIDIA Cosmos 是一个面向物理 AI（physical AI）的世界基础模型平台。物理 AI 指在真实物理世界中运行的 AI，例如机器人和自动驾驶汽车。NVIDIA 于 2025 年 1 月 6 日在 CES 展会上发布了该平台。^[1] 所谓世界基础模型，是一种能生成视频的生成模型，它呈现物理场景的外观和运动方式，使机器可以先在模拟场景中接受训练，再面对真实世界。

这些模型可以根据文字、图像、视频以及机器人的传感器或运动数据生成基于物理规律的视频。NVIDIA 说明，其目的是用合成数据（即由计算机生成、而非从现实中采集的数据）训练机器人和自动驾驶汽车。^[1]

由来

平台于 2025 年 1 月 6 日在 CES 发布，以 NVIDIA 开放模型许可（NVIDIA open model license）下的开放权重模型形式推出。^[1][2] 技术报告由 77 位作者共同完成，由 Niket Agarwal 领衔，于 2025 年 1 月 7 日发布。^[2] 维基百科记载，Cosmos 在 2025 年 GTC 大会上与人形机器人模型 Isaac GR00T N1 一同展示。^[3]

主要特点

平台同时包含自回归（autoregressive）和扩散（diffusion）两类模型。^[1] 自回归模型逐个生成输出，每一步都依赖前面已生成的内容；扩散模型则从噪声开始，一步步把它细化为图像或视频。两种类型并存，让开发者可以按任务选择合适的方法。

平台包括四个主要组成部分：世界基础模型本身、Cosmos Tokenizer、护栏（guardrails）以及基于 NeMo Curator 构建的视频筛选流水线。分词器（tokenizer）把视频压缩成模型可处理的紧凑标记。NVIDIA 称，Cosmos Tokenizer 的压缩率是主流分词器的 8 倍，运行速度快 12 倍。^[1] 护栏是检查输入和输出的安全过滤机制。筛选流水线则对原始视频进行整理和标注，使之可用于训练。^[1]

NVIDIA 还给出了筛选流水线的速度数据：在 Blackwell（NVIDIA 的 GPU 架构）上，它可以在 14 天内处理、整理并标注 2000 万小时视频；若用 CPU 完成同样的工作，则需要三年以上。^[1]

在发展中的位置

Cosmos 面向研发机器人和车辆的公司。NVIDIA 点名的早期用户包括 1X、Agility、Figure AI、Uber、Waabi 和 XPENG 等。^[1] Jensen Huang 表示：“We created Cosmos to democratize physical AI and put general robotics in reach of every developer.”（我们创建 Cosmos，是为了让物理 AI 大众化，让每一位开发者都能接触到通用机器人技术。）^[1]

Cosmos 在 GTC 2025 上与 Isaac GR00T N1 一同展示，这使它与 NVIDIA 的人形机器人工作联系在一起。^[3] 开放权重的发布意味着这些模型可以被他人下载和改造。