NVIDIA 发布 5500 亿参数开放模型 Nemotron 3 Ultra

背景

Super 模型于 2026 年 3 月 10 日发布，参数总量 1200 亿，激活参数 120 亿。^[2] Ultra 是 Nemotron 3 系列中规模最大的模型。^[1]

发生了什么

2026 年 6 月 4 日，NVIDIA 发布 Nemotron 3 Ultra。它的参数总量为 5500 亿，每个标记激活其中的 550 亿。它采用混合 Mamba-attention 混合专家设计，并使用 LatentMoE。LatentMoE 是 NVIDIA 在研究资料中介绍的一种混合专家变体。^[1] 在混合专家设计中，每个标记只有部分专家子网络参与运算。因此，虽然模型整体拥有 5500 亿参数，但 550 亿激活参数决定了每个标记获得的计算量。

关键细节

模型支持最多 100 万个标记的上下文，即一次处理时能够考虑的文本长度。它以 NVFP4 格式完成预训练，NVFP4 是一种 4 位数值格式，可降低训练时的内存和计算需求。^[1]

NVIDIA 称，在输入 8K、输出 64K 标记的设定下，Ultra 的吞吐量是 GLM-5.1 的 5.9 倍，是 Kimi-K2.6 的 4.8 倍。吞吐量指系统在单位时间内产生的输出量，因此这些数字比较的是各模型在该设定下生成文本的速度。这些数字来自 NVIDIA 自己的测量。^[1]

由于模型规模很大，每个标记需要的计算量便是衡量其成本的实际指标，NVIDIA 的速度说法也是围绕这一指标展开的。此次发布还公开了模型的配套材料。检查点、数据集和训练配方都已在 Hugging Face 和 GitHub 上开放发布，开发者可以下载权重、研究训练数据并跟随训练过程。^[1]

影响

此次发布把一个 5500 亿参数的模型纳入开放模型系列，并与权重一同公开了训练配方和数据。^[1]