Olmo 3

是什么

Olmo 3 是艾伦人工智能研究所（Allen Institute for AI，简称 Ai2）完全开放语言模型的第三代，2025 年 11 月 20 日宣布 ^[1]。模型为稠密的仅解码器（decoder-only）Transformer，参数规模为 7B 和 32B ^[1]。Transformer 是大多数现代语言模型采用的神经网络结构，仅解码器的意思是模型根据前文逐个生成词元。

由来

Olmo 3 是 OLMo 2 的后继者 ^[1]。它在这一家族之上推出了基础版、推理版、对话版和强化学习版等多个变体，见下文。

主要特点

Olmo 3 有多个变体。基础版（Base）提供 7B 和 32B 两种规模。推理版（Think）同样有 7B 和 32B 两种规模。指令版（Instruct）面向对话和工具调用，只有 7B 规模。RL Zero 为 7B 模型，是一条从基础模型出发、对外开放的强化学习路径 ^[1]。推理模型经过训练，会在回答前一步步推演问题。

预训练使用 Dolma 3 Mix，约 5.9 万亿词元，取自约 9.3 万亿词元的 Dolma 3 语料库。随后是 1000 亿词元的 Dolmino 中期训练数据，以及约 500 亿词元的 Longmino 长上下文数据。后训练数据称为 Dolci ^[1]。模型的上下文窗口为 65,536 个词元 ^[2]，即模型一次能够考虑的文本长度。

Ai2 称 Olmo 3-Think 32B 是最强的完全开放推理模型。它在 IFEval（一项考查指令遵循能力的测试）上得分 89.0，训练所用词元约为 Qwen 3 32B 的六分之一。Think 7B 在 MATH（数学题基准）上与 Qwen 3 8B 持平。Ai2 还称 32B 基础模型是最强的完全开放基础模型 ^[1]。以上均为 Ai2 自己的说法。

预训练最多使用 1,024 块 H100 显卡，中期训练使用 128 块，后训练使用 256 块 ^[1]。该模型随 OlmoTrace 一同在 Ai2 Playground 中推出。OlmoTrace 可以实时把模型的输出追溯到其训练数据 ^[1]。

权重采用 Apache 2.0 许可发布，所有数据集也均对外公开 ^[1][2]。

Olmo 3.1 于 2025 年 12 月 12 日发布。它延长了 Think 32B 的强化学习训练，使其在 AIME 上提升 5 分以上，在 IFBench 上提升 20 分以上 ^[1][3]。AIME 和 IFBench 都是用于测试推理与指令遵循能力的基准。Olmo 3.1 还新增了 Instruct 32B 模型，并更新了 RL Zero 7B 的代码版和数学版检查点 ^[1][3]。

在发展中的位置

Olmo 3 是 Ai2 完全开放模型系列的一部分，其后于 2026 年 3 月推出了采用混合架构的 Olmo Hybrid 7B ^[1]。整个系列都随数据、训练细节和工具一同发布，使外部研究者能够追溯每个变体的构建过程。需要注意的是，文中的性能说法均为 Ai2 自己的报告。