DeepSeekMoE 混合专家模型

是什么

DeepSeekMoE 是 DeepSeek 于 2024 年 1 月 9 日发布的一种面向语言模型的混合专家（mixture-of-experts，MoE）架构，相关论文在 1 月 11 日上传到 arXiv。^[3][1] 它提出的目标是让每个专家掌握更聚焦、彼此重叠更少的知识。^[1]

混合专家模型的基本做法，是把原本一整块的前馈网络拆成若干个并行的「专家」，再由一个路由器决定每个词元（token）交给其中哪几个专家处理。由于每个词元只用到一部分参数，模型可以拥有远多于其单次计算所动用的参数量：容量增长得比单次计算成本更快。这正是这类架构对扩展规模有吸引力的原因，也是它难以做好的原因——如果路由器没有把活分好，专家之间就会互相重复，而不是形成分工。

两处设计改动

第一处是细粒度专家分割（fine-grained expert segmentation）。DeepSeekMoE 不是把前馈层切成少数几个大专家，而是切成更多、更小的专家，并在每次组合中激活更多个。^[1] 这样每个专家覆盖的知识面更窄，路由器能够组合出的搭配也更丰富。

第二处是共享专家隔离（shared expert isolation）。少数的专家对每个词元始终处于激活状态，用来承载各语境下通用的知识，从而让被路由的专家专注于各自特有的部分。^[1]

论文的出发点是：GShard 这类传统混合专家设计在保证专家真正分化这件事上面临困难。^[1] 只靠路由并不足以让专家之间形成清晰的分工，上面两处改动就是论文针对这个问题的回答。

开源的模型与报告的结果

随架构一同发布的首个模型是 DeepSeekMoE 16B，权重对外开放。^[2] 它有 164 亿参数，在 2 万亿中英文词元上训练。^[2] DeepSeek 报告称，它的表现与 LLaMA2 7B 相当，而只用了约 40% 的计算量。^[1]

论文还给出了其他规模上的结果。在较小规模上，一个 2B 的 DeepSeekMoE 模型与更大的 GShard 模型表现相当。^[1] 一个初步的 145B DeepSeekMoE 模型与 DeepSeek 67B 表现相当，使用的计算量为其 28.5%。^[1] 这些结果合起来指向同一件事：规模越大，把参数预算分摊到更多、更细的专家上带来的收益越明显。

在发展中的位置

论文认为，在扩展参数规模时，混合专家是控制计算成本的一条有前景的路径。^[1] 这一思路延续到了后续工作：2024 年 5 月的 DeepSeek-V2 使用 DeepSeekMoE 来实现经济的稀疏训练。^[4] 维基百科将 DeepSeek-MoE 列为已停止。