OLMoE

OLMoE 是什么

OLMoE 是艾伦人工智能研究所（Ai2）发布的一个完全开放的稀疏专家混合（sparse mixture-of-experts，MoE）语言模型，相关论文于 2024 年 9 月 3 日张贴到 arXiv。^[1] 模型的总参数为 70 亿，每个输入词元（token）只激活其中的 10 亿。^[1] 论文同时给出了基础模型 OLMoE-1B-7B 和经过指令微调的版本 OLMoE-1B-7B-Instruct。^[5]

稀疏专家混合是怎么工作的

稠密模型对每一个词元都要过一遍全部参数。专家混合模型则把网络的一部分拆成许多并列的「专家」子网络，再加一个小型路由（router）模块：每来一个词元，路由只挑出少数几个专家参与计算。由于任何一个词元都只走少数几条通路，模型装下的参数可以远远多于它在单次计算中用到的参数。OLMoE 的「稀疏」就是这个意思：模型里放着 70 亿参数，但单个词元只经过其中的 10 亿。^[1] 好处是一笔很直接的算术账——每个词元的计算量维持在小模型的水平，而参数规模、以及由此带来的容量，可以按大模型来堆。

训练与成绩

OLMoE 在 5 万亿词元上完成预训练。^[1] 论文报告说，它的表现优于激活参数数量相近的模型，并且超过了一些体量更大的模型，例如 Llama2-13B-Chat 和 DeepSeekMoE-16B。^[1] 这正是专家混合设计所针对的比较方式：推理时真正花掉算力的是激活参数，所以一个稀疏模型要拿来和「每个词元都要付出高得多的计算」的模型一起衡量。

作者在模型内部看到了什么

除了基准成绩，论文还考察了训练好的模型的路由行为。作者分析了词元被分配给各专家的方式，并报告说专家之间呈现出很强的专门化（specialization）。^[5] 在专家混合层里，路由是唯一决定词元去向的部件，因此专家最终是否真的在做不同的工作——而不是挤到同一件事上、白白浪费参数——是这个设计里的核心问题。

开放性

OLMoE 以完全开放的方式发布：权重、训练数据、代码和训练日志全部公开，权重采用 Apache 2.0 许可。^[1][4] 该模型与 Contextual AI 合作构建。^[2] 论文于 2024 年 9 月 3 日首次张贴，2025 年 3 月 3 日修订。^[5] 把数据、代码和日志与权重一起放出，意味着别人可以复现这次训练、研究稀疏模型的行为，而不只是下载一个训练好的权重文件。

在发展中的位置

OLMoE 后来成为 Ai2 多模态模型 MolmoE-1B 的语言主干。^[3] 这种复用也说明了一个公开的基座模型能派上什么用场：它可以被拿去当作别人搭建的系统里的部件，而论文与公开材料则记录了它是怎么训练的、它的专家是怎么分工的。