Mixtral 8x7B

是什么

Mixtral 8x7B 是 Mistral AI 在 2023 年 12 月发布的开源权重语言模型，采用稀疏混合专家（sparse mixture-of-experts, SMoE）结构。它不会让每个词元（token）都经过整个网络，而是只把词元交给一小部分参数处理，因此每个词元的计算量远小于模型总规模所暗示的水平。^[1]

权重最早在 2023 年 12 月 9 日通过一个 BitTorrent 链接放出，模型在 12 月 11 日正式公布。^[1][3]

怎么工作

混合专家的基本思路，是在网络里保留若干组可选的子网络（称为「专家」），对每个输入只用其中少数几组。这样可以在不按同样比例增加计算量的前提下扩大参数总量。

Mixtral 8x7B 在结构上与 Mistral 7B 相同，区别在于每一层有 8 个前馈（feed-forward）专家，而不是一个前馈块。^[2] 路由（router）网络为每个词元选出其中两个专家，并把它们的输出相加。^[1] 选择是逐层独立进行的，所以同一个词元在不同层可能由不同的两个专家处理。^[2] 按 Mistral 自己的说法，前馈块从 8 组不同的参数中挑选，路由网络为每个词元选择其中两组。^[1]

这种设计把「总参数」和「每词元开销」分开：Mixtral 8x7B 共有 467 亿参数，但单个词元只用到 129 亿。^[1] 所有权重仍然需要存储，缩小的是每个词元所做的运算量。Mistral 称其推理速度比 Llama 2 70B 快 6 倍。^[1]

能力

模型支持 32k 词元的上下文，可用英语、法语、意大利语、德语和西班牙语工作。^[1]

在质量上，Mistral 报告说 Mixtral 8x7B 在多数基准上优于 Llama 2 70B，在多数标准基准上与 GPT-3.5 持平或更好。^[1] 指令微调版本 Mixtral 8x7B Instruct 在 MT-Bench 上得分 8.30，Mistral 称这是当时开源模型的最好成绩。^[1]

发布与许可

基础版和 Instruct 版都以 Apache 2.0 许可发布。^[1] Mistral 通过自家的 mistral-small API 端点提供该模型，并向 vLLM 推理项目提交了对它的支持，其中集成了用于高效推理的 Megablocks CUDA 内核。^[1]

论文与后续

技术论文《Mixtral of Experts》于 2024 年 1 月 8 日发布到 arXiv，共列出 26 位作者，Albert Q. Jiang 为第一作者，Arthur Mensch 列第四，Alexandre Sablayrolles 和 Antoine Roux 也在作者之列。^[2]

2024 年 4 月，同一思路的更大版本 Mixtral 8x22B 出现。^[4] 托管在 API 上的 open-mixtral-8x7b 于 2024 年 11 月 30 日标记为弃用，2025 年 3 月 30 日下线。^[4] 基础版与 Instruct 版的权重仍以 Apache 2.0 发布。^[1]