Mistral AI 发布 Mixtral 8x22B

发布了什么

2024 年 4 月 17 日，Mistral AI 公布 Mixtral 8x22B，一个采用稀疏混合专家（sparse mixture-of-experts，MoE）架构的大语言模型。它的参数总量为 1410 亿，但处理每个词元（token）时只有 390 亿参数被激活。^[1] 公开记录里的日期略有出入：公告日期是 2024 年 4 月 17 日，维基百科则把权重放出记在 2024 年 4 月 10 日，比公告早一周。^[2]

稀疏混合专家怎么工作

混合专家模型不是一整块稠密网络。它由许多彼此独立的「专家」子网络组成，每处理一个词元，路由机制只挑出其中少数几个专家参与计算，其余保持闲置。因为有相当一部分参数不参与运算，模型的总参数量——也就是它整体的容量——可以做得很大，而每个词元实际消耗的算力却小得多。真正决定推理开销和速度的是「激活参数」：390 亿激活参数意味着每个词元的运算量大致相当于一个同等规模的稠密模型，而不是一个 1410 亿参数的稠密模型。名字里的「8x22B」描述的是专家的排布方式，不是单个词元的计算量。Mistral 称，这种稀疏激活方式让该模型比任何稠密 70B 模型都快。^[1]

上下文、工具调用与许可

Mixtral 8x22B 支持 64K 上下文窗口，可以把很长的文本一次性读入，而不必切成碎片。^[1] 它具备原生函数调用（function calling）能力：模型可以接收外部工具或函数的说明，并输出结构化的调用来使用它们，由上层程序接上搜索、数据库或其他软件。^[1] 权重以 Apache 2.0 许可发布^[1]，这是常见的宽松开源许可，允许使用、修改和再分发，包括用于商业产品，通常只需保留版权与许可声明。

成绩

指令微调版本在 GSM8K 上取得 90.8%（maj@8），在 MATH 上取得 44.6%（maj@4）。^[1] 这两个都是数学推理基准，maj@k 指同一道题采样多次、取多数答案的做法，即所谓自洽性（self-consistency）解码，通常能把分数抬高。Mistral 称该模型在 HellaSwag、ARC Challenge 和 MMLU 三个常用基准上大幅超过 LLaMA 2 70B，^[1] 并称它为 AI 社区树立了性能与效率的新标准。^[1] 需要说明的是，上述分数与比较都来自发布方自己的报告，不是第三方独立评测。

为什么值得注意

这次发布把几件事放在了一起：可以自由使用的宽松许可权重、远高于当时常见稠密模型的参数总量，以及小得多的激活参数量。按 Mistral 的说法，这种组合让它在多个基准上超过稠密 70B 模型，同时跑得更快。^[1] 对开发者而言，Apache 2.0 意味着权重可以直接下载、修改并部署进商业产品，无需另签协议；而 1410 亿总参数与 390 亿激活参数的搭配，则展示了一条在控制单次推理算力的同时扩展模型容量的路径。^[1]