《专家模型 Mixtral》

要解决的问题：容量与算力

密集（dense）语言模型对每个词元付出同样的计算量：所有参数都参与每一次前向计算。能力与成本因此绑在一起，模型越大，推理越慢、越贵。稀疏专家混合（sparse mixture of experts，MoE）放松了这层绑定：网络可以容纳远多于单个词元实际用到的参数，因为每个词元只跑其中一部分模块。

模型怎么搭

Mixtral 8x7B 沿用 Mistral 7B 的架构，只改动了一个部件：每层由 8 个前馈块（称为专家）组成，另有一个路由器（router）网络，在每层为每个词元选择 2 个专家^[1]。只有被选中的专家参与计算，所以每个词元总共可访问 47B 参数，推理时只用到 13B 活跃参数^[1]。训练使用的上下文长度为 32k 词元^[1]。

要直观理解路由在做什么，可以设想一段文本里混着一段代码、一个公式和两种语言的词。路由器对每个词元单独判断，所以变量名的词元和动词的词元不必送给同一对专家；训练下来，不同的专家会各自处理不同种类的输入。这正是这类设计吸引人的地方：容量随专家数量增加，而每个词元的计算量只随被选中的专家数量增加。代价是，所有参数仍然要存下来，尽管每一步只用其中一小部分。

论文报告的结果

在作者评测的所有基准上，Mixtral 都超过或追平 Llama 2 70B 和 GPT-3.5，并在数学、代码生成和多语言基准上大幅超过 Llama 2 70B^[1]。这个对比值得注意，因为 Mixtral 做到这些时每个词元只用了 13B 活跃参数^[1]。指令微调版本 Mixtral 8x7B - Instruct 在人类评测基准上超过 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B chat^[1]。

发布方式

基础模型和指令模型都以 Apache 2.0 许可发布^[1]。这是宽松的开源许可，允许复用和修改。对读者来说，论文里的数字不只是报告：模型本身可以取来运行、核对对比结果，也可以在此基础上继续做东西。

作者与记录

论文《Mixtral of Experts》由 Mistral AI 的 Albert Q. Jiang、Alexandre Sablayrolles、Antoine Roux 以及另外 23 位作者于 2024 年 1 月 8 日提交到 arXiv^[1]。

读这篇论文可以带走什么

Mixtral 给出的具体结论是：模型可以持有 47B 参数，却按 13B 的规模付出推理开销^[1]；在作者选定的基准上，这种取舍足以和更大的模型相比^[1]。对跟踪这一方向的人来说，这篇论文的价值还在于它把条件写清楚了——在哪些基准上比、和谁比、以什么许可发布^[1]，后来的工作可以据此对照。