DeepSeek 发布 DeepSeekMoE 混合专家架构

背景

混合专家是一种让语言模型规模变大、同时不让每个 token 都承担全部计算成本的方法。在这种模型中，路由器（router）会把每个输入分配给一部分专家子网络，因此每个 token 只运行模型的一部分。随之而来的一个设计问题是：如何避免各个专家学到相同的内容。

深度求索（DeepSeek）是一家中国人工智能公司，在此之前已经发布过代码模型和通用模型。它的架构研究正是针对这一设计问题展开的。

发生了什么

2024 年 1 月 9 日，深度求索发布了 DeepSeekMoE 架构 ^[3]。介绍这一架构的论文于 2024 年 1 月 11 日发布在 arXiv 上 ^[1]。发布时同时提供了开放权重的模型 DeepSeekMoE 16B，使公司之外的人也能检验这一架构 ^[2]。

该架构基于两个想法。细粒度专家切分把专家拆得更小，并组合激活更多的专家 ^[1]。共享专家隔离则让少数专家对每个 token 都保持激活，用来捕捉通用知识，使其余专家能够专注于更具体的内容 ^[1]。

关键细节

深度求索报告，DeepSeekMoE 16B 的表现与 LLaMA2 7B 相当，计算量仅约为后者的 40% ^[1]。一个初步的 145B 参数 DeepSeekMoE 模型被报告与 DeepSeek 67B 相当，计算量只用了后者的 28.5% ^[1]。公司称 145B 的结果是初步的。

16B 的权重是公开的，而 145B 的数字是公司报告的早期结果。

影响

2024 年 5 月发布的 DeepSeek-V2 使用 DeepSeekMoE 进行了经济高效的稀疏训练 ^[4]。稀疏训练指每个 token 只激活网络的一部分，从而降低成本。因此，这一架构成为该公司后来更大模型的基础之一。

这类开放权重的发布，让其他研究者可以自行检验报告中的效率数字。想了解混合专家模型与稠密模型有何不同的读者，可以把这一事件作为具体的参照。