Olmo Hybrid

Olmo Hybrid 是什么

Olmo Hybrid 是 Allen Institute for AI（Ai2）于 2026 年 3 月 5 日发布的全开放（fully open）语言模型，参数量 70 亿。它与常见 Transformer 模型的不同处在层结构：并非每一层都用注意力，而是把注意力层与线性循环层混在一起堆叠，Ai2 称这种结构为混合架构（hybrid architecture）。^[1]

层是怎么排的

模型以 3:1 的比例交错排列门控 DeltaNet（Gated DeltaNet）线性循环网络层和注意力层：先是三个 DeltaNet 子层，然后是一个多头注意力（multi-head attention）子层，如此重复。这些层取代了 Olmo 3 中的滑动窗口注意力（sliding-window attention）层。^[1]

两类层做的事情不一样。线性循环层把一个大小固定的状态从一个 token 带到下一个 token，边读边更新，因此处理每个 token 的开销大致恒定，状态也不会随文本变长而变大。门控 DeltaNet 属于这一类：delta 规则决定每读入一个新输入时状态该如何被修正，门控则决定每一步往状态里写入多少。注意力走的是另一条路：每个 token 都能直接回看它前面的所有 token，表达能力强，但代价随序列长度增长，上下文越长越贵。每隔四个子层放一个注意力层，用意是保住这种直接回看的能力，同时让大部分深度以循环层的成本运行。^[1]

训练

Olmo Hybrid 在 6 万亿 token 上训练，用的是为 Olmo 3 32B 开发的改进数据配方。训练使用 512 块 GPU，中途从 H100 换成了 B200。^[1]

结果

Ai2 表示，该模型在 MMLU 准确率上与 Olmo 3 7B 持平，而所用 token 少 49%。中期训练之后，它在每个主要评测领域都领先 Olmo 3 7B。在 64K token 的 RULER 长上下文测试上，它用 DRoPE 得到 85.0，而 Olmo 3 7B 用 YaRN 得到 70.9。^[1]

Ai2 认为它为什么重要

除了这一个模型本身，Ai2 把这次发布当作关于架构的证据。该机构认为，混合架构在表达能力上从根本上强于纯 Transformer 或纯线性循环网络，并用理论分析和显示预训练更高效的规模实验支持了这一说法。^[2] 它还预计 token 节省会随模型规模增大，从 10 亿参数时约 1.3 倍，到 700 亿参数时约 1.9 倍。^[1]

在发展中的位置

Olmo Hybrid 属于 Olmo 这一系列公开释放的模型，是 Olmo 3 的 7B 同代版本，把注意力栈的一部分换成了线性循环层。由于混合模型和被比较的对象都是开放的，Ai2 给出的 token 效率对比，外部研究者可以自己查看和在此基础上继续做。^[1] 10 亿和 700 亿参数上的倍数是外推结果，而不是在那些规模上实际训练出来的模型的实测值。^[1]