Ai2 发布 OLMo 2

背景

语言模型本质上是一大批数值参数，加上产出这些参数的代码和数据。不少公开发布只公布前半部分：训练好的权重（weights）可以下载运行，但训练语料、训练代码和训练过程中的中间状态都留在实验室里。「完全开放」（fully open）说的就是把这些也一并放出来的发布方式，让实验室之外的人不但能用模型，还能把它是怎么做出来的重新走一遍。

发生了什么

2024 年 11 月 26 日，Ai2 发布 OLMo 2，有 7B 和 13B 两个尺寸，数字指的是参数规模^[1]。模型训练时最多用了 5 万亿个 token，token 是模型在训练中读取并预测的小段文本，常常是词的一部分^[1]。与权重一起放出的还有数据、代码、训练配方（recipe）和检查点（checkpoint）^[1]。Ai2 称这两个模型是当时最好的完全开放语言模型^[1]，这是发布方对自己作品的描述。

关键细节

Ai2 表示 7B 版本胜过了 Llama-3.1 8B，13B 版本胜过了 Qwen 2.5 7B^[1]。这类比较通常是在一组固定的基准任务上做的，说的是测出来的分数，而不是模型在任何场景下的表现。

Ai2 把长时间预训练能够顺利进行，归功于训练稳定性技术^[2]。用上万亿 token 做预训练意味着数量极多的优化步；如果这次训练在数值上中途失稳，结果可能变差甚至整个失败，已经花掉的算力也随之浪费。让这样的长跑保持健康本身就是一项工程问题，Ai2 把它当作需要报告的内容之一^[2]。

这次发布特意带上了训练配方和中间检查点，而不只是最终权重；按 Ai2 的说法，完全开放的科学研究需要的不只是开放权重^[2]。检查点是训练过程中某个时刻模型参数的快照。把一连串检查点公开，外部研究者就能对比早期和后期快照，看着某些能力在训练推进中逐渐出现，而不是只能检查最终成品。

影响

开放权重让人可以运行和改造一个模型；再加上数据、代码、配方和检查点，外界还可以核对它是怎么产生的：喂进去的是什么数据、处理数据的是什么代码、选了哪些设置、模型在半路上长成什么样。对研究语言模型如何在训练中获得能力的人，对需要复现而不是近似复现某个结果的工程师，对想讲清模型行为从何而来的教学者，这些多出来的材料决定了一个模型只是能用，还是可以被检查。

它同时也是一个可比较的坐标。把数据、代码、配方、检查点一并交付的发布，为后来者提供了参照：再看新的「完全开放」发布时，可以逐项问这些部分到底有没有，这个词也就有了具体的所指。