Ai2 发布 OLMo 2 32B

背景

能力最强的语言模型大多以服务的形式提供。你可以向它发文字、读它的回答，但它训练时用了哪些数据、训练代码怎么写、训练中途的中间状态是什么样，都留在做出它的机构内部。「完全开放」的发布是另一种安排：除了成品模型，还把别人重建它所需的东西一并公开。对研究来说这个区别很要紧——一个无法被他人复现的结果，其实也就无法被核对。

发布了什么

2025年3月13日，Ai2 发布 OLMo 2 32B ^[1]。名字里的数字是参数规模，约 320 亿个权重，也就是训练过程中被反复调整的那些数。在公开可获取的开放模型里，这属于大模型，但比目前投入使用的最大系统小得多，后者的规模通常并不公开。

怎么训练的

Ai2 表示，这个模型训练时使用了至多 6 万亿个 token ^[1]。token 是这类模型读写文本的单位，大致相当于词的一部分；6 万亿个 token 是极大的文本量，而 token 数量正是决定预训练要跑多久、花多少钱的主要变量之一。训练本身在 Google Cloud 的 Augusta 集群上、用 1280 块 H100 显卡完成 ^[1]。H100 是英伟达（Nvidia）的数据中心显卡，这一时期的大型训练大多围绕它搭建；到了这个量级，真正的限制往往是同一项任务里能让多少块卡同时忙起来，所以集群规模本身就是方法的一部分，而不只是后勤细节。

预训练之后，模型使用 Tulu 3.1 做了后训练（post-training）^[2]。后训练是打造对话模型的第二阶段：一个只会顺着往下写文本的基础模型，通过人工整理的例子和反馈，被教成能听懂指令、回答问题、进行多轮对话的样子。Tulu 是 Ai2 自己的后训练数据与方法系列，也就是说，OLMo 2 32B 是用同一批人公开过的方法收尾的。

结果

Ai2 称 OLMo 2 32B 是第一个在一组学术基准（benchmark）上超过 GPT-3.5-Turbo 和 GPT-4o mini 的完全开放模型 ^[1]。这句话里有两部分在做不同的事。比较对象划出一条线：GPT-3.5-Turbo 和 GPT-4o mini 是体量较小、被广泛使用的模型，新模型要证明自己有用，得先过这道线。限定语则划出另一条线：它并不是说 OLMo 2 32B 是最强的模型，而是说在「复现所需的一切都已公开」的那一类模型里，它是第一个在这些测试上跑到前面的。学术基准是标准化的题库——学科知识、阅读理解、简单推理之类——便于把模型放在一起比较，但衡量的只是范围很窄、容易打分的技能。

Ai2 还表示，训练这个模型的花费约为训练 Qwen 2.5 32B 的三分之一，而两者的性能相近 ^[2]。两个模型的名义规模相同，所以这是两场同等量级的训练之间的比较，差别在于达到相近水平所付出的代价。跨机构比较训练成本并不容易，因为算不算芯片、电费、人力、失败的尝试，最后的结果会差很多；但这类说法恰恰是可复现的发布方式能让外部的人去检查的东西。

意义

Ai2 公开了复现 OLMo 2 32B 所需的一切 ^[1]。「完全开放」这几个字的分量就在这里。对一个研究组来说，这意味着可以重跑整套流程、换掉其中一个环节再看结果如何变化；对学生来说，这意味着有一个规模足够大的模型，其内部可以被研究，而不只是从外部去猜。它也让「三分之一的成本」这样的比较，从一句宣称变成可以被检验的说法。一个这样规模、以这样的算力训练、并把完整配方公开的模型，同时也是一个参照点：它说明了一定数量的显卡和 token 能换来什么，也为后来者提供了一个可以对照的基线。