Mistral AI 发布开放权重的混合专家模型 Mixtral 8x7B

背景

当时多数大语言模型属于稠密模型（dense model）：处理每一个词时，网络中的全部参数都要参与计算。想让稠密模型更强，通常就要把它做得更大，运行成本也随之上升。

混合专家（mixture-of-experts，MoE）提供了另一条路。模型里不是一整块计算，而是包含多个较小的专家子网络，再由一个路由器（router）决定每段输入交给哪几位专家处理。这样，模型的参数总量可以很大，而处理单个词时实际工作的部分要小得多。这类思路并不新，此次的意义在于把它用于权重可以公开获取的语言模型。

发生了什么

2023年12月11日，Mistral AI 发布了 Mixtral 8x7B，这是一个稀疏混合专家（sparse mixture-of-experts，SMoE）模型，权重可以公开获取。^[1] 这里的「稀疏」指的是：对每个词，只有模型的一部分会被激活。

关键细节

在 Mixtral 中，每一层有八组参数，即八位专家。对每个词、在每一层，路由器网络都会挑选其中两组来处理，再把结果合并。^[1] 模型的总参数为 467 亿（46.7 billion），但每个词只使用其中的 129 亿（12.9 billion）。^[1] 因此，它单次计算的规模接近一个小得多的模型，而总容量却更大。

Mixtral 支持 3.2 万（32k）个词元（token）的上下文长度，即一次能够纳入考虑的文本量，可以处理英语、法语、意大利语、德语和西班牙语。^[1] 它采用 Apache 2.0 许可证，这是一种宽松的开源许可证，允许较为广泛的再利用，包括商业用途。^[1]

Mistral 报告称，在大多数基准上，Mixtral 的表现优于 Llama 2 70B，推理速度快 6 倍；在大多数标准基准上，它达到或超过 GPT-3.5。这些是公司自己给出的对比，需要独立测试才能确认其他场景下的表现。^[1]

指令微调版 Mixtral 8x7B Instruct 在 MT-Bench 上得分 8.30。MT-Bench 是一套多轮对话质量测试，Mistral 称这是当时开源模型的最佳成绩。^[1]

Mixtral 也进入了实际产品：它支撑了 Mistral 测试平台上的 mistral-small 接口，Mistral 还为开源项目 vLLM 贡献了代码，用于提升推理效率。^[1]

影响

Mixtral 表明，混合专家架构可以以开放权重和宽松许可证的形式发布，并按公司自己的标准达到 GPT-3.5 的水平。它的实际吸引力在于每个词只激活一部分参数，因此理论上可以用比同等总规模稠密模型更低的服务成本提供较高质量的回答。

这次发布也给开发者提供了一个完整样本：开放权重、可直接调用的接口，以及对共享推理软件的改进。文中的性能对比是 Mistral 的自报结果，应视为有待独立检验的说法，而不是定论。