Llama Nemotron（Nano、Super、Ultra）

是什么

Llama Nemotron 是 NVIDIA 推出的一组开放推理模型（open reasoning model）。2025 年 3 月 18 日，NVIDIA 在其 GTC 大会上发布了这一系列，提供 Nano、Super 和 Ultra 三种规格。^[1]「推理」指模型在回答前会分步骤处理问题；「开放」指模型权重公开，他人可以下载使用。^[2] 三种规格的参数量分别为 80 亿（Nano）、490 亿（Super）和 2530 亿（Ultra）。它们都派生自 Meta 的 Llama 3 模型。^[2]

由来

模型经过了多个阶段才完成。首先用神经架构搜索（neural architecture search）寻找推理时更快的结构，即模型回答问题时的运行速度。接着使用知识蒸馏（knowledge distillation），让较小的模型学习模仿较大的模型。之后进行持续预训练（continued pre-training），再做有监督微调（supervised fine-tuning），最后用大规模强化学习（reinforcement learning）提高推理能力。^[2]

主要特点

最有特色的是一个动态推理开关。同一个模型既可以用标准聊天模式运行，也可以切换到推理模式，这一选择是在推理时（即使用模型时）做出的，而不是训练时决定的。^[2]

NVIDIA 给出了具体的性能说法：经过后训练（post-training），准确率比基础模型最多提高 20%；推理速度比其他领先的开放推理模型最多快 5 倍。^[1] 这些数字出自 NVIDIA 自己的发布，需要注意其来源。

三种规格各有定位。Nano 面向个人电脑和边缘设备，即靠近数据产生地点的终端设备。Super 被描述为在单块 GPU 上兼顾最高准确率与吞吐量。Ultra 则面向多 GPU 服务器，追求最高的智能体（agentic）准确率，这里的「智能体」指能借助工具完成多步骤任务的系统。^[1]

模型以 NVIDIA 开放模型许可（NVIDIA Open Model License）发布，同时公开了一个名为 Llama-Nemotron-Post-Training-Dataset 的后训练数据集。^[2] 发布时，Nano 和 Super 已可在 build.nvidia.com 和 Hugging Face 上使用，Hugging Face 是一个公开分享模型的平台。Ultra 规格于 2025 年 4 月以 Llama-3.1-Nemotron-Ultra-253B-v1 的名称推出。^[1][3]

在发展中的位置

Llama Nemotron 通过一批合作伙伴进入企业市场。NVIDIA 点名的合作方包括 Accenture、Amdocs、Atlassian、Box、Cadence、CrowdStrike、Deloitte、IQVIA、Microsoft（通过 Azure AI Foundry）、SAP（通过其 Joule 助手）和 ServiceNow。^[1] 合作方从 Atlassian、ServiceNow 这样的软件公司，到 Deloitte 这样的咨询公司，再到专门处理健康与生命科学数据的 IQVIA，覆盖面很广。这份名单说明，该系列既面向个人开发者，也面向企业软件和服务行业，企业可以在模型之上构建自己的产品与服务。

详细介绍训练方法的技术报告于 2025 年 5 月 2 日发布。^[2]