Ai2 发布后训练方案 Tülu 3

背景

大语言模型的训练通常不止一个阶段。预训练（pretraining）让模型大量阅读文本，获得关于语言的总体知识；后训练（post-training）是之后的一组步骤，把一个基础模型塑造成会听指令、会回答问题、输出方式符合用户预期的模型。在开放模型这一边，后训练的做法往往比预训练更少被记录下来。Ai2 把开放后训练与闭源方案在公开排行榜上的差距，作为这次发布针对的问题^[2]，并将自己公开做法的方式，与不披露后训练数据和方案的闭源实验室作对比^[2]。

发布了什么

2024年11月21日，Ai2 发布 Tülu 3，包含 8B 和 70B 两个规模，均由 Llama 3.1 微调而来^[1]。它不是一个全新的基础模型，而是一套后训练方案以及用这套方案训练出来的模型：起点是 Llama 3.1，Ai2 贡献的是在其之上施加的流程^[1]。

方案由什么组成

这套方案有三个组成部分。第一部分是监督微调（supervised fine-tuning，SFT）：用「指令—理想回答」的成对样本训练模型，让它学会模仿这些回答。第二部分是偏好调优（preference tuning）：给模型看成对的候选回答以及哪一个更受偏好，训练它偏向被偏好的那一个。第三部分，也是 Ai2 作为这套方案新增内容来介绍的，是可验证奖励的强化学习（reinforcement learning with verifiable rewards，RLVR）^[1]。在 RLVR 中，模型自己生成回答，再由一个可以自动运行的检查来打分，因此奖励不必依赖人对每条样本的判断，也不必依赖一个学出来的评判模型。Ai2 说，这套方案把 RLVR 与监督微调、偏好调优放在一起使用^[1]。

公开了什么

Ai2 公开了数据集、代码、中间检查点（intermediate checkpoints）和评测^[1]。中间检查点是训练中途保存下来的模型，公开它意味着别人能看到方案中每一步对模型的影响，而不只是最终成品；公开评测则意味着报告出来的结果可以被核对。

影响与定位

Ai2 的说法是，这次发布缩小了开放后训练方案与闭源方案之间的差距^[1]。这个定位既关于分数，也关于透明度：Ai2 把公开做法与不公开后训练数据和方案的闭源实验室相对照^[2]，并把这项工作描述为针对开放后训练与闭源方案在公开排行榜上的差距^[2]。数据集、代码、检查点和评测都在公开之列，其他人因此可以检查和复用这套流程，而不只是它的产物^[1]。这也正是这次发布想说明的地方：重要的不只是模型本身，还有别人能照着再做一遍的方法。