NVIDIA 发布用于合成数据的 Nemotron-4 340B

背景

训练语言模型需要大量文本，而高质量的优秀回答示例很难大规模收集。一种常见做法是用现有模型生成示例，这种方法称为合成数据。合成数据由模型生成，而不是从人那里收集。NVIDIA 的这次发布希望让这一做法变得开放、可重复。

发生了什么

2024 年 6 月 14 日，NVIDIA 发布了 Nemotron-4 340B，这是一组包括基础、指令和奖励三个版本的模型^[1]。公司把它定位为一条开放的流水线，用于生成合成数据，以训练其他大语言模型（LLM，即 large language model）^[1]。模型依据 NVIDIA 开放模型许可协议，在 NGC 和 Hugging Face 上发布^[1][2]。NGC 是 NVIDIA 的软件和模型目录，Hugging Face 则是托管开放模型的平台。

基础模型在 9 万亿个词元上训练^[1]。词元是一小段文本，通常是一个词或词的一部分。

关键细节

三个版本各有分工。基础模型是通用的起点；指令模型经过进一步训练，能够按照请求作答；奖励模型给回答打分，是该系列中可以用来挑选或指导其他模型输出的部分^[1]。

奖励模型在 RewardBench 排行榜上名列第一^[1]。RewardBench 是测试奖励模型判断回答能力的基准，排行榜则按成绩排序。

NVIDIA 表示，其自身对齐数据中超过 98% 为合成数据^[2]。对齐是使模型行为符合开发者期望的过程，这一数字说明，大部分调整是借助模型自身生成的材料完成的。

许可协议允许分发、修改和使用模型及其输出^[2]。许可同时涵盖输出内容，这对想用生成的数据去训练另一个模型的人来说很重要。

影响

这次发布为开发者提供了一套开放的训练数据构建工具。团队不必从人那里收集每一个示例，而是可以用这些模型生成材料，再用这些材料训练或改进较小的模型。由于公司把它定位为开放的流水线，其他人可以审视并复用这一方法。

对读者而言，这次发布清楚地体现了模型构建方式的一种转变：大模型不仅作为产品存在，也成为训练其他模型的材料来源。这次发布让这种做法变得可见、开放，并公开了输出内容的使用条件。

对开发者而言，这类材料使团队无需从人那里收集每一个示例，也能在较小的规模上做实验，而不必一开始就训练庞大的模型。