Ai2 发布开放混合专家模型 OLMoE

什么是混合专家

普通的语言模型在处理每个 token 时都会用上全部参数。混合专家（mixture-of-experts，MoE）模型换了一种做法：把参数切成许多独立的块，每一块叫一个「专家」（expert），再加一个路由器（router），由它逐个 token 决定该交给哪几个专家处理。只有被选中的专家参与计算，因此模型的总参数量可以远大于它处理单个 token 时实际消耗算力的那部分。代价是路由必须管用：如果路由器把 token 送给了帮不上忙的专家，多出来的容量就白放了。这是这一类设计的通用思路，OLMoE 是它的一个具体实现。

Ai2 发布的东西

2024 年 9 月，Ai2 发布 OLMoE^[1]，论文于 9 月 3 日贴出^[1]。这个模型总参数为 7B，但每个 token 只激活 1B^[1]，属于稀疏混合专家这一路：参数池很大，每个 token 只用其中一小片。它的训练数据量为 5 万亿 token^[1]。Ai2 是与 Contextual AI 一起开发这个模型的^[2]。

权重、数据、代码和日志全部开放

这次发布的不只是一组权重。Ai2 把模型权重、训练数据、代码和训练日志都开源了^[1]。这几样合在一起，决定了别人能拿它做什么、能核查到什么程度。只有权重，人们可以跑模型；有了数据、代码和日志，人们还能回溯它是怎么造出来的，重跑或改动其中的环节。对一个混合专家模型来说，路由器的行为本身就是设计的一部分，训练记录公开，意味着可以研究的不只是输出结果，还有内部机制。

论文报告的结果

论文报告说，OLMoE 的表现优于所有激活参数相近的可用模型，甚至超过了 Llama2-13B-Chat 和 DeepSeekMoE-16B^[3]。这些比较是按激活参数来算的，对稀疏模型而言这是更贴切的尺度：OLMoE 每个 token 消耗的算力大致相当于一个 1B 参数的模型，而总参数是 7B，对比是在这个「每 token 花多少」的基础上与更大的模型进行的。作者还表示，他们的路由分析显示专家之间存在很高的专门化程度^[3]，也就是说，不同专家倾向于承担不同类型的活儿，而不是表现得千篇一律。这个发现正好回应了混合专家设计绕不开的问题：路由器是否真的做出了有用的区分。

意义

OLMoE 值得注意的地方，与其说是某一个数字，不如说是它公开出来的那一整套东西：一个稀疏混合专家模型，连同它背后的数据、代码和日志。混合专家架构之所以被广泛采用，是因为它把总容量和每 token 成本拆开了，但训练过程中的细节——路由器怎么行事、专家之间怎么分工——通常从外面看不见。一次把训练记录也包括进来的发布，给研究人员和学生留下了一个可以端到端检查的样本，也给打算在这个架构上继续做的人一个有据可查的起点。论文报告的专家专门化，恰恰是只有在路由行为和训练配置都能被查看时，才谈得上验证的那类结论。