OLMo

是什么

OLMo（全称 Open Language Model，即开放语言模型）是艾伦人工智能研究所（Allen Institute for AI，简称 Ai2）开发的语言模型。它于 2024 年 2 月 1 日以 1B 和 7B 两种规模发布，项目则于 2023 年 5 月 11 日宣布 ^[1][4]。Ai2 称 OLMo 是「真正开放」（truly open）的。除了模型权重，Ai2 还公开了 Dolma 预训练数据集及其构建代码、训练代码、训练日志、Weights & Biases 指标和评估代码 ^[1][2]。Weights & Biases 是一项用来记录训练指标的服务，这些指标反映训练过程的进展。

由来

Ai2 于 2023 年 5 月 11 日宣布 OLMo 项目，九个月后，也就是 2024 年 2 月 1 日，发布了模型 ^[1][4]。发布时还有一篇 arXiv 论文，题为《OLMo: Accelerating the Science of Language Models》，作者包括 Dirk Groeneveld、Iz Beltagy、Pete Walsh、Akshita Bhagia 等 40 人。论文于 2024 年 2 月 1 日发布在 arXiv 上 ^[2]。

多个合作方参与了这一项目，包括 AMD、芬兰的 CSC、MosaicML 与 Databricks、哈佛大学的肯普纳研究所（Kempner Institute）以及华盛顿大学 ^[1]。

主要特点

每个基础模型的训练量至少为 2 万亿词元。OLMo 7B 在 2.5 万亿词元的 Dolma 数据上训练，总训练量约为 3 万亿词元 ^[1][3][4]。词元是一小段文字，可能是一个词，也可能是词的一部分。

OLMo 7B 有 32 层，隐藏层维度为 4096，注意力头数为 32，上下文窗口为 2,048 个词元 ^[3]。隐藏层维度和注意力头数描述网络的内部结构，上下文窗口则是模型一次能够考虑的文本长度。

每个基础模型都有 500 多个检查点，每 1,000 个训练步保存一次 ^[1]。检查点是训练期间保存的模型副本，研究者因此可以看到模型随时间的变化。OLMo 7B 使用 MosaicML 提供的 A100-40GB 显卡训练。另有一个孪生模型使用芬兰 LUMI 超级计算机上的 AMD MI250X 显卡训练 ^[3]。

所有代码、权重和中间检查点均采用 Apache 2.0 许可，允许再利用、修改和再分发 ^[1]。Ai2 还发布了经过指令调优的 OLMo-7B-Instruct 和 OLMo-7B-SFT，并附带 Open Instruct 代码 ^[1]。

性能

Ai2 报告称，OLMo 7B 在许多生成类任务和阅读理解任务上与 Llama 2 相当，但在 MMLU 和 Big-Bench Hard 两个基准套件上略为落后。这两个套件考查广泛的知识和推理能力 ^[1]。这些都是 Ai2 自己的结果，读者在做细致比较前应查看评估细节。

在发展中的位置

OLMo 随权重一同发布了训练数据、日志和评估代码，这使训练过程本身可以被其他研究者检查。OLMo 于 2024 年 11 月由 OLMo 2 接替 ^[4]。此后，OLMo 之名成为一整个模型家族的名称，后续成员另见各自条目。