NVIDIA Nemotron Nano 2

是什么

Nemotron Nano 2 是 NVIDIA 在 2025 年 8 月 20 日发布的一篇论文中介绍的小型推理模型^[1]，对外发布的 9B 版本是它的主要检查点^[1]。按模型卡的描述，它是一个把推理任务和非推理任务合在一起的统一模型：同一套权重既能做普通对话，也能做需要思考的题目；在推理模式下，它先写出一段推理过程（reasoning trace），再给出最终回答^[3]。

把模型做小，目的是让它跑得便宜。它的许多设计选择都是从这一点推出来的。

混合架构

模型由 Mamba 层和 Transformer 层混合而成，建立在 NVIDIA 更早的一个设计 Nemotron-H 之上。它最显眼的选择是：大部分自注意力（self-attention）层被换成了 Mamba-2 层^[1]。

自注意力让每个词元都和序列里其他词元逐一比较，因此序列一长，计算量和显存占用就涨得很快。Mamba-2 层属于状态空间模型一类，它沿着序列推进一个压缩的状态，而不是让所有词元两两比对。保留少量注意力层、把其余的换掉，得到的模型可以在生成长输出时，不让每个词元的代价涨得那么陡。这对推理模型尤其重要——推理任务要先写出思维链，答案天然很长。

怎么训练出来的

9B 模型是从一个更大的模型来的。NVIDIA 先训练了一个 12B 基座模型 Nemotron-Nano-12B-v2-Base，用 FP8 配方在 20 万亿个词元上做预训练^[1]。FP8 指用 8 位浮点数做计算，相比更高精度的格式更省显存、速度更快。随后用 Minitron 策略把这个基座模型压缩，并把它的行为蒸馏进 9B 模型^[1]。

这些模型由 NVIDIA 从零训练，训练数据中列出的有 Nemotron-CC-v2、Nemotron-CC-Math-v1 以及 Nemotron 的后训练数据集^[3]。模型卡把模型的时间标为 2025 年 6 月到 8 月，预训练数据截止到 2024 年 9 月^[3]。

速度与上下文

效率上的说法针对的是推理（inference），不是训练。在 8K 输入、16K 输出的推理场景下，NVIDIA 报告其推理吞吐最高可达 Qwen3-8B 等同尺寸模型的 6 倍^[1]。吞吐是按整段生成的答案来算的，所以一个先长篇推理再作答的模型，最受益于「让每个生成的词元更便宜」的改进。

另一半是上下文长度。模型能在单张 22 GiB 显存的 NVIDIA A10G 上处理最多 128K 词元的上下文^[1]。A10G 是一张规格不高的加速卡，这个数字想说明的是：长上下文推理并不一定需要最大的硬件。

开放了什么

NVIDIA 在 Hugging Face 上发布了 9B 模型，以及 12B 基座和 9B 基座两个检查点，并一并放出了大部分预训练和后训练数据集^[1]。把数据和权重一起公开，别人既能查看它是在什么数据上训练的，也能按自己的需要做微调。

在发展中的位置

2025 年 12 月的 Nemotron 3 Nano 是它的后继，NVIDIA 称其吞吐最高可达 Nemotron 2 Nano 的 4 倍^[2]。放在这条产品线上看，Nemotron Nano 2 是一款由取舍而非规模定义的模型：把大部分注意力层换成开销更低的序列混合层，把大模型压缩成小模型，再把权重和数据公开出来，让结果可被检验、可被复用。