NVIDIA Nemotron 3（Nano、Super、Ultra）

是什么

Nemotron 3 是 NVIDIA 推出的一组开放模型。NVIDIA 于 2025 年 12 月 15 日宣布该系列，当天发布了 Nano 模型，Super 和 Ultra 则在 2026 年陆续推出。^[1][2] 三种规格共享同一种架构，都支持最多 100 万个标记（token）的上下文。标记是文本的小单位，100 万个标记足以容纳很长的文档，或同时容纳许多文档。^[2][3][4]

该系列采用混合 Mamba-Transformer 设计，并结合了混合专家（mixture-of-experts，简称 MoE）结构。在混合专家模型中，网络包含许多称为专家（expert）的专门化子网络，但每个标记只会调用其中的少数几个。这样，模型可以拥有很大的参数总量，而处理单个标记时真正参与计算的只是较小的一部分，即激活参数（active parameters）。^[2]

由来

NVIDIA 以混合 Mamba-Transformer 结构为基础推出这一系列模型，并将其作为一组开放模型发布。^[2]

Nano 模型最先发布，时间为 2025 年 12 月 15 日。Super 于 2026 年 3 月 10 日到来，Ultra 于 2026 年 6 月 4 日发布。^[2][3][4]

三种规格

Nemotron 3 Nano 的参数总量为 316 亿，其中激活参数为 32 亿。NVIDIA 称它的准确率高于 GPT-OSS-20B 和 Qwen3-30B-A3B-Thinking-2507，并且在一块 H200 GPU 上的吞吐量是 Qwen3-30B-A3B 的 3.3 倍。^[2]

Nemotron 3 Super 于 2026 年 3 月 10 日发布，参数总量 1200 亿，激活参数 120 亿。它被描述为 Nemotron 3 系列中首个采用 LatentMoE 的模型，LatentMoE 是 NVIDIA 在研究页面中介绍的一种混合专家变体。Super 还使用了多标记预测（multi-token prediction）层，即训练模型一次预测多个即将出现的标记；它的预训练采用 NVFP4 格式，这是一种 4 位数值格式。NVIDIA 称其吞吐量最多是 GPT-OSS-120B 的 2.2 倍。^[3]

Nemotron 3 Ultra 于 2026 年 6 月 4 日发布，是该系列中规模最大的模型，参数总量 5500 亿，激活参数 550 亿。它以 NVFP4 完成预训练，并经过有监督微调、强化学习以及多教师同策略蒸馏（multi-teacher on-policy distillation）的后训练。后一种方法让学生模型在生成自己的输出时，同时向多个教师模型学习。NVIDIA 称它的吞吐量是 Kimi-K2.6 的 4.8 倍，是 Qwen-3.5-397B 的 1.6 倍。^[4]

开放发布

NVIDIA 公开了该系列的权重、训练配方和数据。发布内容包括约 3 万亿标记的新预训练、后训练和强化学习数据集，以及 NeMo Gym 强化学习环境库。^[1][2] 检查点（checkpoint）已在 Hugging Face 上以 BF16、FP8 和 NVFP4 三种格式发布，训练配方则在 GitHub 的 NVIDIA-NeMo/Nemotron 仓库中。^[3][4]

检查点即保存下来的一组训练好的权重。提供多种数值格式，便于用户按自己的硬件选择版本。NVFP4 是 4 位格式。

应用情况

发布时，NVIDIA 点名的早期采用者包括 Accenture、Cadence、CrowdStrike、Cursor、Deloitte、EY、Oracle Cloud Infrastructure、Palantir、Perplexity、ServiceNow、Siemens、Synopsys 和 Zoom。^[1] 名单涵盖软件、咨询、云计算和工程等领域。

在发展中的位置

后续的 Nemotron 3.5 Super 拥有 1200 亿参数、120 亿激活参数，可接收多种类型的输入；Nemotron 3.5 Lightning 为 300 亿参数、30 亿激活参数。二者于 2026 年 10 月 14 日发布，由 Nemotron 3 Ultra 和 Super 的基础模型蒸馏而来。NVIDIA 报告，Nemotron 3.5 Super 在 SWE-bench Pro（一项软件工程任务基准）上得分 51.78%。^[6]

该系列还包括一款多模态模型。Nemotron 3 Nano Omni 为 300 亿参数，接收文本、图像、视频和音频输入，于 2026 年 4 月 28 日发布。^[5]