Llama-3.1-Nemotron-70B-Instruct

是什么

Llama-3.1-Nemotron-70B-Instruct 是 NVIDIA 在 2024 年 10 月发布的大语言模型。它由 Meta 的 Llama-3.1-70B-Instruct 定制而来，调整的方向是让模型对用户提问的回答更有帮助。^[1] 模型卡把目标写得很直接：提高对用户提问的回答的有帮助程度（helpfulness），数据集为 HelpSteer2，基础模型为 Llama-3.1-70B-Instruct。^[1]

是怎么训练的

底座模型经过了基于人类反馈的强化学习（reinforcement learning from human feedback，RLHF）。这类训练和模仿不同：模型不是逐字对齐一段标准答案，而是先给出若干候选回答，由某个评分机制打分，再调整参数，让得分高的那类回答以后更容易出现。分数通常来自一个单独训练的奖励模型（reward model），奖励模型学的则是人更偏好两个回答中的哪一个。

NVIDIA 这条模型用的组合是 REINFORCE 算法、奖励模型 Llama-3.1-Nemotron-70B-Reward，以及来自 HelpSteer2-Preference 的训练提示。^[1] REINFORCE 是一种策略梯度（policy gradient）方法：它比较某个采样回答实际得到的好坏与预期之间的差距，然后朝让好回答概率变大的方向挪动参数。因为只需要一个分数、不需要唯一正确的答案，这类方法很适合做基于奖励信号的训练。

成绩

发布时给出的三项自动对齐（alignment）基准成绩都由 GPT-4-Turbo 评判：Arena Hard 85.0、AlpacaEval 2 LC 57.6、MT-Bench 8.98。^[1] 截至 2024 年 10 月 1 日，它在这三项上都排在第一，领先 GPT-4o 与 Claude 3.5 Sonnet。^[1] 这类基准的共同点是让一个强模型去比较或给回答打分，而不是由人投票；AlpacaEval 2 里的 LC 指长度控制（length-controlled），即对胜率做调整，削弱「写得更长就更容易赢」的影响。

由人投票的 Chatbot Arena 给出的结果不一样。2024 年 10 月 24 日，该模型在榜单上的 Elo 为 1267，排第 9；加上风格控制（style control）后为第 26 名。^[1] Elo 是从两两胜负中算出的积分，风格控制则是在计算排名时对回答的文体特征做校正，使长度和排版不至于直接换来分数。NVIDIA 也提到，这三项自动对齐基准被认为可以预测 Chatbot Arena 的 Elo。^[1] 因此两组数字放在一起时，值得分清各自衡量的是什么、又校正了什么。

使用细节

模型最多接受 128K 输入 token，最多生成 4K 输出 token。^[1] 它以 NVIDIA Open Model License 发布，同时 Llama 3.1 Community License 也适用。^[1] 仓库中的 -HF 变体由 Llama-3.1-Nemotron-70B-Instruct 转换而来，以便在 Transformers 代码库中运行；NVIDIA 提示评测结果可能略有差异。^[1]

在版图中的位置

在开放权重的模型生态里，一个常见做法是拿一个被广泛使用的基础模型，再做一轮针对特定行为的后训练。这里是 Meta 的 Llama 3.1 系列，针对的行为是「有帮助」。模型名把两层来源写在一起：Llama-3.1 指底座模型，Nemotron 也出现在训练所用奖励模型的名字里。^[1] 由于发布同时带有 NVIDIA 自己的许可和 Llama 3.1 Community License，使用方要同时遵守两者。^[1]