Nemotron-4 340B

它是什么

Nemotron-4 340B 是 NVIDIA 于 2024 年 6 月 14 日发布的一组开放模型，包括 Nemotron-4-340B-Base、Nemotron-4-340B-Instruct 和 Nemotron-4-340B-Reward 三个成员^[1][2]。基础模型（base model）在通用文本上训练；指令模型（instruct model）经过进一步训练，能够按照请求作答；奖励模型（reward model）经过训练，用来给回答的好坏打分，可以指导其他模型的训练。

这一系列的目标是生成合成数据。合成数据是由模型生成、而非从人那里收集的文本或其他材料，可用于训练和改进其他语言模型，包括用于商业用途^[1]。从这个意义上说，它是用来构建其他模型的工具，而不只是供人对话的模型。

由来

Nemotron 模型系列在这次发布之前就已经开始。此前的 Nemotron-3 8B 发布于 2023 年 11 月 15 日^[3]。Nemotron-4 340B 是同一系列中规模更大的后继版本。之后，2025 年的 Llama Nemotron 推理模型延续了这一系列^[3]。

主要特点

基础模型在 9 万亿个词元上训练^[1]。词元是一小段文本，通常是一个词或词的一部分，训练数据越多，模型可学习的内容通常也越多。它设计为可以用 FP8 精度装入一台带八块 GPU 的 DGX H100^[2]。FP8 是一种 8 位浮点格式，每个数字占用的内存比常用的 16 位或 32 位格式少，从而降低了运行模型的成本。

对齐（alignment）是调整模型行为、使其符合开发者期望的阶段。该系列用于对齐的数据中，超过 98% 为合成生成，NVIDIA 还开源了生成这些数据的合成数据流水线^[2]。公开流水线意味着外界可以看到数据是如何制作的，并复用这一方法。

奖励模型 Nemotron-4 340B Reward 在 Hugging Face 上 AI2 的 RewardBench 排行榜中名列第一^[1]。RewardBench 是针对奖励模型的基准测试，排行榜则按照该测试对模型进行排名。

模型采用 NVIDIA 开放模型许可协议发布，该协议允许分发、修改和使用模型及其输出^[2]。模型可从 NVIDIA NGC 和 Hugging Face 下载，并计划提供 NVIDIA NIM 微服务^[1]。NIM 是一种打包好的服务，使模型更容易部署。

技术报告由 Bo Adler 与另外 80 位作者共同完成，于 2024 年 6 月 17 日发布^[2]。报告在发布三天之后公布。

在发展中的位置

这一系列是 NVIDIA 开放模型线的一部分，其后续包括 2025 年的 Llama Nemotron 推理模型^[3]。对学生和开发者而言，它是一个清楚的例子：大模型可以用来生成训练较小模型的材料，而生成这些材料的方法也可以与模型一同公开。