OLMo 2 32B

是什么

OLMo 2 32B 是一个 320 亿参数（parameter）的大语言模型，也是 OLMo 2 系列中规模最大的一员，由 Ai2 于 2025 年 3 月 13 日发布。^[1] 参数是神经网络在训练中学到的数值权重，参数量大致反映模型规模：320 亿处于中等区间，既能承担较广的语言任务，又不至于大到只有超大规模集群才训得起。与同尺寸模型相比，它更特别的地方在于附带的东西——Ai2 把全部数据、代码、权重和训练细节一并公开了。^[1]

怎么训练的

模型在 3.9 万亿 token（token，模型读写文本的基本单位）的预训练混合数据上训练了最多 6 万亿 token，相当于把这份数据过了约 1.5 遍（epoch，轮次）。^[1] 预训练之后还有一段中间训练（mid-training），用的是 8430 亿 token 的 Dolmino 混合数据。^[1] 先做广泛预训练、再用更精选的数据做一段中间训练，如今是一种常见做法：前者打下通用能力的基础，后者在模型进入指令微调之前调整它的倾向。

训练在名为 Augusta 的集群上进行：160 个节点的 Google Cloud 集群，每个节点 8 块 H100 GPU，吞吐为每块 GPU 每秒超过 1800 个 token。^[1] 这对应约 38% 的 MFU（model flops utilization，模型算力利用率），也就是训练实际用掉的算力占硬件峰值算力的比例。320 亿参数版本随后用 Tulu 3.1 做了后训练（post-training）。^[2]

结果

Ai2 称 OLMo 2 32B 是首个在一组考察多种能力的学术基准上超过 GPT-3.5-Turbo 和 GPT-4o mini 的完全开源模型。^[1] 「完全开源」这个限定很关键：它说的是数据、代码、权重都公开的那一类模型，此前没有达到这条线。在同一批基准上，Ai2 表示它的表现与 Qwen 2.5 32B、Mistral 24B 相当或更好，并接近 Qwen 2.5 72B 和 Llama 3.1/3.3 70B。^[1] 后两个模型的参数量大约是它的两倍，能接近它们，说明这个尺寸的开源模型已经触及通常属于更大一档模型的水平。成本方面，Ai2 称它在训练成本约为 Qwen 2.5 32B 三分之一的情况下达到了相近的表现。^[1]

能拿来做什么

OLMo 2 的三个尺寸都可以在单个 H100 GPU 节点上做微调（fine-tuning），并且都能在 Ai2 的 playground 上试用。^[2] 单节点可微调，意味着高校实验室或小团队也有条件把它改造成自己的模型，而不只是拥有大集群的机构。数据、代码与训练细节的公开，则让整套训练配方可以被检查和复用，而不必只凭结果去相信。

放在开源语言模型并不长的发展脉络里，OLMo 2 32B 的位置很具体：它是一个训练全流程公开的中等尺寸模型，Ai2 称其表现可与同尺寸的常用模型竞争，并接近某些参数量约为它两倍的模型。^[1]