Tülu 3

Tülu 3 是什么

Tülu 3 是艾伦人工智能研究所（Ai2）于 2024 年 11 月 21 日发布的一套公开后训练（post-training）方案，以及配套的两个模型：Llama-3.1-Tulu-3-8B 和 Llama-3.1-Tulu-3-70B。两个模型都以 Meta 的 Llama 3.1 为基础，参数量分别为 80 亿和 700 亿。^[1]

后训练指的是把一个只读过大量文本的模型，进一步训练成能听懂指令、行为可用的模型。Ai2 指出，未经后训练的预训练模型既不安全，也无法遵循指令。^[4]

方案怎么工作

方案由三部分组成：指令微调、使用同策略偏好数据的偏好微调，以及带可验证奖励的强化学习（reinforcement learning with verifiable rewards，RLVR）。^[1]

指令微调是用「一条指令配一个好回答」的样例训练模型。偏好微调接着给模型看成对的回答，让它学会偏向更好的那一个；「同策略」（on-policy）的意思是，偏好数据由正在训练的这个模型自己生成，而不是从别处收集。RLVR 则是一种不使用奖励模型的强化学习方法，也就是说，用来改进模型的信号不是来自另一个单独训练出来打分的模型。^[1]

对于成果，Ai2 表示这套方案缩小了公开后训练方案与闭源后训练方案之间的性能差距。^[1] 博客还提到，专门训练编程这类单项技能可能会侵蚀模型的其他能力，而这套方案在设计时就考虑了避免这种情况。^[4]

一同发布的东西

除了两个模型，Ai2 还发布了每个训练阶段的检查点、经过去污染处理的数据集、训练代码（open-instruct）、一套评测框架，以及一份包含负面结果的技术报告。^[1] 去污染的数据集是指经过筛查、不会让测试材料泄漏进训练的数据。把数据、代码和中间检查点一起公开，别人就能重跑并检查每一个阶段，而不只是看到一个最终模型。技术报告于 2024 年 11 月 22 日发布到 arXiv。^[2]

在系列中的位置

Tülu 3 是这个系列的第三代，前面是 2023 年 6 月的 Tülu 和 2023 年 11 月的 Tülu 2。^[3] 它的方案后来也被用来后训练 OLMo 2 Instruct 模型，说明这套做法并不局限于最初应用的 Llama 系模型。^[1]

为什么重要

后训练是让一个原始预训练模型变得可用的环节，而这个环节的具体做法——用什么数据、什么目标、以什么顺序训练——对模型的行为影响很大。^[4] Tülu 3 的贡献在于把这套流程完整写清楚，并把各个环节都交到公众手里：方案本身、每一步的检查点、数据集、代码和评测框架。^[1] 技术报告还记录了没有奏效的做法，而这类信息通常不会出现在公开发表的描述里。^[1] 由于这套方案后来被复用到 OLMo 2 Instruct 上，它也成为其他公开开发的模型的组成部分。^[1] 这个系列一路延续下来，在本条目之前已有 2023 年 6 月的 Tülu 和 2023 年 11 月的 Tülu 2。^[3]