Ai2 发布完全开放的语言模型 OLMo

背景

语言模型是一次长时间训练的产物：大量文本输入，一组权重输出。通常打着「开放」旗号发布的，只是最后那组权重。训练所用的语料、跑训练的代码、训练途中的中间状态，往往不在发布范围之内。缺少这些，外部研究者可以测量一个训练完成的模型，却难以复现它、审计它用了什么数据，也难以看清它的能力是一步步怎么出现的。OLMo 要补的正是这个缺口。

发布了什么

2024 年 2 月 1 日，艾伦人工智能研究所（Ai2）发布 OLMo，包含 1B 与 7B 两个规模^[1]。发布内容不限于权重，还包括预训练数据集 Dolma、训练代码、训练日志，以及每个模型 500 多个检查点（checkpoint）^[1]。所有内容都以 Apache 2.0 协议发布^[1]。

Ai2 将这项工作描述为一次合作，并列出了 AMD、CSC、Databricks、哈佛大学 Kempner 研究所和华盛顿大学等合作方^[1]。

检查点与数据工具

检查点是训练中途保存下来的模型权重快照，有了它，训练可以暂停、续跑，也可以被检查。OLMo 的检查点每 1000 个训练步保存一次，每个基础模型因此积累了 500 多个；在 Hugging Face 上，每一个都作为模型仓库的一个独立 revision 提供^[2]。

除 Dolma 数据集及其生成代码外，发布内容还包括用于分析预训练数据的工具 WIMBD^[2]。数据在这里之所以重要，是因为预训练语料的内容决定了模型知道什么、能被问什么；有了能检索和统计语料内容的工具，数据集本身就成了可以被检验的对象，而不是一个只能采信的既定输入。

检查点序列是同一思路的另一面。只有一个最终权重版本的模型可以被测试，却无法被追踪；而有几百个按顺序排列的快照，模型就能当作一个过程来研究：某种能力是在什么时候出现的，训练到一半时它是什么样子，不同阶段之间又发生了什么变化。这些快照还让训练可以从中间某一点接着跑，而不必从头再来。

与 Llama 2 的比较

Ai2 表示，OLMo 7B 在许多任务上与 Llama 2 相当，在 MMLU 上略逊^[1]。也就是说，这次发布对标的参照物是 Llama 2：主张的不是 OLMo 最强，而是一个完全开放的同等规模模型，可以在一大批任务上与一个被广泛使用的模型并立。

意义

把数据、代码、日志和检查点一起放出来，理由在于它们各自回答不同的问题。数据说明模型被教了什么，代码说明是怎么教的，日志说明训练过程中发生了什么，检查点说明每个阶段模型长什么样。四者齐备的发布可以被重新训练、被审计、被研究；只有权重的发布则只能被使用。OLMo 提出的做法，是让前一种发布成为常规，让没有能力自己训练大模型的研究者拿到的不是一个只能提问的黑箱，而是一份可以复现、可以细看的东西。