Mixtral 8x22B

是什么

Mixtral 8x22B 是 Mistral AI 发布的稀疏混合专家（mixture-of-experts，MoE）语言模型。它的总参数量为 1410 亿（141B），但每处理一个词元（token）只用到其中的 390 亿（39B）^[1]。模型的上下文窗口为 64K 个词元 ^[1]。Mistral 称它能流利使用英语、法语、意大利语、德语和西班牙语，并原生支持函数调用（function calling）^[1]。

「混合专家」指的是一种组织网络的方式：把前馈部分拆成许多彼此独立的子网络（通常称为「专家」），再由一个路由机制为每个词元挑选其中少数几个来处理。因为对同一个词元来说大部分专家并不参与计算，模型可以存放比单次计算所用量大得多的参数。这就是「稀疏」的含义——总量很大，每次用到的只是其中一部分。

由来

Mistral AI 于 2024 年 4 月 17 日宣布该模型 ^[1]，维基百科则把权重的发布时间记为 2024 年 4 月 10 日 ^[2]。它是 Mixtral 8x7B 的后继模型 ^[4]。权重以 Apache 2.0 许可发布，Mistral 称这是最宽松的开源许可 ^[1]。

能力与成绩

Mistral 把 Mixtral 8x22B 描述为针对推理（reasoning）做过优化的模型 ^[1]。在数学基准上，指令微调版本在 GSM8K 上使用 maj@8 得到 90.8%，在 MATH 上使用 maj@4 得到 44.6% ^[1]。GSM8K 是一组小学水平的数学应用题，MATH 则是更难的竞赛风格题目；maj@8 和 maj@4 的做法是让模型多次作答，再取出现次数最多的答案，而不是只看一次输出。

Mistral 还表示，在 HellaSwag、Arc Challenge 和 MMLU 上，它明显优于 LLaMA 2 70B ^[1]。HellaSwag 和 Arc Challenge 以选择题形式考察常识与科学推理，MMLU 则覆盖众多学科的知识问答。

速度方面，Mistral 称其稀疏激活模式使它比任何稠密的 70B 模型都快 ^[1]。原因是稠密模型每处理一个词元都要跑完全部参数，而 Mixtral 8x22B 每次只用到 1410 亿中的 390 亿，单位词元的计算量低于参数总量所暗示的水平。

API 与退役

从 2024 年 4 月 17 日起，它以 open-mixtral-8x22b 的名字在 Mistral 的 API 上提供服务 ^[3]。Mistral 于 2024 年 11 月 30 日将其弃用，2025 年 3 月 30 日正式下线 ^[4]。其模型概览把 Mistral Small 4 列为这一退役模型的替代品 ^[4]。

在发展中的位置

Mixtral 8x22B 处在开放权重模型里参数规模较大的一端：1410 亿参数，以允许商用和修改的 Apache 2.0 许可发布 ^[1]。它的稀疏设计也提供了一个论据——模型可以携带很大的参数量，而不必在每个词元上为全部参数付出计算代价，因为每次只有 390 亿参数被激活 ^[1]。在 Mistral 自己的产品线上，它承接 Mixtral 8x7B ^[4]，退役后又由 Mistral Small 4 接替 ^[4]。从 2024 年 4 月发布到 2025 年 3 月下线，它作为可用模型存在的时间不到一年 ^[1][3][4]。