它是什么
混合专家（mixture of experts，简称 MoE）是一种神经网络架构。在这种架构中，同一层里并列着许多子网络，称为「专家」（experts）。一个小型的路由网络（router）负责为每个词元选出少数几位专家来处理，其余专家在这一步不参与运算。[1]
怎么工作
可以把它想象成一支专家团队，门口有一位前台。前台读完每个请求，只把它交给最合适的几位专家。不同的请求会流向不同的专家，因此从整体看，全团队都在工作，但每个请求只消耗其中一小部分工作量。在 MoE 层里，路由网络相当于前台，词元就是请求。
关键在于，只有被选中的专家才会运行。因此，模型的总参数量可以非常大，而处理每个词元时的计算量则接近一个小得多的模型。[1]
路由网络本身也是在训练中学习的。它要为每个词元判断哪几位专家最合适，而随着专家分工的变化，这些判断也会随之改变。
它从哪里来
2017 年 1 月，Google 的 Shazeer 等人为深度网络提出了稀疏门控混合专家层（sparsely-gated MoE layer）。这一想法是保留大模型的容量，同时每次只激活其中的一小部分。[1]
今天用在哪里
Mistral AI 的 Mixtral 8x7B 发布于 2023 年 12 月，总参数量为 467 亿，但每个词元只使用其中的 129 亿。[2]
DeepSeek-V3 发布于 2024 年 12 月，总参数量为 6710 亿，每个词元激活约 370 亿个参数。[3] 两者遵循的是同一种模式：存储的容量很大，而每个词元所做的工作相对节制。
总量与计算量之间的差距
在稠密模型中，每个参数都参与每一次计算，模型多大，每一步的开销就有多大。混合专家模型可以拥有比单次使用更多的参数，因此总规模不再以同样的方式决定每个词元的成本。这正是这种设计的主要吸引力。换句话说，存储模型与运行模型是两个不同的成本问题，混合专家主要降低的是后者。
局限
所有专家仍然需要装入内存，尽管对任一词元只会调用其中的一小部分。路由还必须保持均衡：如果路由网络把太多词元分给少数几位专家，这些专家会过载，另一些则长期闲置，效率优势也就随之丧失。工程上还需要决定设置多少位专家、每个词元调用几位，这些选择决定了模型容量与计算成本之间的取舍。
20262
-
发布Cohere 以 Apache 2.0 开源发布 Command A+
2026 年 5 月 20 日，Cohere 以 Apache 2.0 开源许可发布 Command A+，总参数量 218 billion，面向主权与关键基础设施用户。
-
发布Mistral AI 发布 Mistral Small 4
2026 年 3 月 16 日，Mistral AI 发布 Mistral Small 4：119B 混合专家模型，Apache 2.0 许可，融合推理、图像输入与智能体编程。
20251
-
发布百度以 Apache 2.0 许可开源文心 4.5 系列
2025 年 6 月 30 日，百度以 Apache 2.0 许可证开源十款文心 4.5 模型，参数规模从 0.3B 到 424B 不等，结束了此前的闭源做法。[^1][^2][^3]
20248
-
2024 年 12 月 26 日，深度求索（DeepSeek）发布 DeepSeek-V3，这是一个总参数 6710 亿的混合专家模型，同时公开了模型权重、技术报告和代码。
-
发布腾讯开源 3890 亿参数 MoE 模型混元 Large
2024 年 11 月 5 日，腾讯在 Hugging Face 上开源了总参数 3890 亿的混合专家模型混元 Large。此前一天，腾讯已将其技术报告提交至 arXiv。
-
2024 年 9 月，Ai2 发布混合专家语言模型 OLMoE：总参数 7B，每个 token 只激活 1B，并公开了权重、数据、代码和训练日志。
-
发布微软发布 Phi-3.5 系列（mini、MoE、vision）
2024 年 8 月，微软发布 Phi-3.5 的三个模型：mini、MoE 和 vision。三者都支持 128K 词元上下文，并以 MIT 许可证发布。
-
发布DeepSeek 发布 DeepSeek-V2，引入多头潜在注意力（MLA）
2024 年 5 月 7 日，深度求索发布 DeepSeek-V2 技术报告，这是总参数 236B、每个 token 激活 21B 参数的混合专家模型，并引入多头潜在注意力（MLA）。
-
2024 年 4 月 17 日，Mistral AI 发布 Mixtral 8x22B：总参数 1410 亿、激活参数 390 亿的稀疏混合专家模型，支持 64K 上下文与原生函数调用，以 Apache 2.0 许可发布。
-
发布AI21 Labs 发布 Mamba 与 Transformer 混合模型 Jamba
2024年3月28日，AI21 Labs 发布开放权重模型 Jamba，把 Mamba 状态空间层与 Transformer 注意力层结合在一起，总参数 520 亿，上下文为 25.6 万词元。
-
发布DeepSeek 发布 DeepSeekMoE 混合专家架构
2024 年 1 月 9 日，深度求索发布 DeepSeekMoE 混合专家架构，以细粒度专家和共享专家为核心，并开放了 16B 参数的模型。
20231
-
发布Mistral AI 发布开放权重的混合专家模型 Mixtral 8x7B
2023年12月11日，Mistral AI 发布开放权重的混合专家模型 Mixtral 8x7B，它处理每个词时只启用一部分参数，以较低的单次计算量获得较大的总体容量。
注释与来源
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerhttps://arxiv.org/abs/1701.06538
- Mixtral of expertshttps://mistral.ai/news/mixtral-of-experts
- DeepSeek-V3 Technical Reporthttps://arxiv.org/abs/2412.19437
引用本页: 混合专家（MoE）. TellWorld, https://www.tellworld.net/zh/learn/mixture-of-experts. 更新于 2026-11-08