NVIDIA 发布 Nemotron 3 开放模型系列

背景

Nemotron 3 是 NVIDIA 研究团队推出的一组开放模型。这次发布把开放权重与其背后的数据和训练方法一并公开。^[2]

发生了什么

2025 年 12 月 15 日，NVIDIA 宣布 Nemotron 3 开放模型系列。该系列分 Nano、Super、Ultra 三种规格。Nano 当即可用，Super 和 Ultra 则预计在 2026 年上半年推出。^[1] NVIDIA 当时对规格给出了大致数字：Super 约 1000 亿参数，Ultra 约 5000 亿参数。^[1]

关键细节

模型采用混合潜在混合专家（hybrid latent mixture-of-experts）架构。混合专家模型对每个标记只激活其中一部分专家子网络，因此单次回答的计算成本低于模型总规模所显示的数字。Super 和 Ultra 以 NVIDIA 的 4 位 NVFP4 格式在 Blackwell（NVIDIA 当前的 GPU 架构）上训练。^[1]

Nano 的上下文窗口为 100 万个标记，NVIDIA 称其标记吞吐量最高是 Nemotron 2 Nano 的 4 倍。上下文窗口指模型一次能够考虑的文本长度。^[1]

NVIDIA 公开了 3 万亿个标记的新训练数据集、一个面向智能体的安全数据集，以及开源的强化学习库 NeMo Gym。^[1] 智能体安全数据集针对会借助工具采取行动的系统；NeMo Gym 则提供可用强化学习训练模型的环境。权重、训练配方和数据都已发布，并附有 FP8 和 BF16 两种检查点。^[2]

影响

这次发布提供了一套完整的开放方案。开发者可以立即下载 Nano 模型并研究其配方，较大的 Super 和 Ultra 则安排在当年晚些时候推出。把训练数据与权重一同公开，意味着外部团队可以检查模型的构建方式，并复现其中部分流程。^[1][2]