Ai2 推出 Olmo Hybrid

背景

今天的大语言模型大多建立在 Transformer 架构上，它的核心运算是注意力（attention）：让序列里的每个词元去衡量其他所有词元。这种做法的表达能力强，代价也明显——注意力层所需的计算量和显存会随上下文变长而增长。线性循环神经网络（linear RNN）层走的是另一条路：它把一个固定大小的状态向前传递，每读入一个词元就更新一次，因此单个词元的处理成本大致恒定，长输入也更容易承受。它通常的短板在记忆：把很长的历史压缩进一个固定状态，之后想精确取出某个细节就更难。混合架构保留少量注意力层，正是为了补上这个缺口。

Olmo Hybrid 就是 Ai2 在可以测量的规模上检验这一取舍的尝试，而且结果公开发布，不锁在某个产品后面。

发布了什么

2026 年 3 月 5 日，Ai2 推出 Olmo Hybrid，将其描述为一个全开放的 7B 模型^[1]。它的架构把两类层交错堆叠：Gated DeltaNet 线性循环层与注意力层按 3:1 的比例排列，也就是每 4 层里有 1 层是注意力层，其余各层负责向前传递循环状态^[1]。模型在 6 万亿个词元上训练^[1]。

3:1 的分配是这个模型最关键的设计选择。注意力层提供直接比较远距离文本的能力；线性循环层承担了序列处理的主要工作量，而它们的成本不随上下文变长而攀升。每 3 层线性层配 1 层注意力层，用意是在拿到大部分效率收益的同时，留下足够的注意力来守住准确率。

结果

Ai2 给出了两类测量。在 MMLU 上——这是一个由多个学科和职业领域的选择题构成的基准——Ai2 称 Olmo Hybrid 达到了 Olmo 3 的准确率，同时少用了 49% 的词元^[1]。在长上下文评测上差距更明显：模型在 64K 词元长度下于 RULER 上得到 85.0 分，而 Olmo 3 7B 是 70.9 分^[1]。RULER 检验的是模型能否真正用上长输入里相隔很远的信息，因此这一对比直接触及线性层常被诟病的那处弱点。

两项结果指向同一件事：这种架构不只是推理时更省，它似乎也能从每个训练词元里学到更多。

影响

Ai2 把这次发布当作证据，说明混合架构配得上扩大规模的投入^[2]。同一份材料还提出，混合设计在表达能力上的优势，在 MMLU 上转化为大约 2 倍的数据效率^[2]——这与「少用 49% 词元」本质上是同一个结论，只是一个说成倍数，一个说成节省。如果这一点站得住，实际后果很直接：达到某个基准准确率可以用更小的训练预算，或者同样的预算可以训练更大的模型。

由于 Olmo Hybrid 是全开放的^[1]，外部研究者可以自己去查看层的配比和训练上的选择，而不必只凭公布的数字——对一个主要主张落在架构上的模型来说，这正是公开的意义。这次发布留下的问题是 3:1 这个平衡能推广多远：在更大的参数量下是否成立，在选择题式的知识问答之外的任务上是否成立，以及在比这里所测更长的上下文里是否成立。