Mistral AI 发布 Codestral Mamba 与 Mathstral

背景

通用语言模型什么材料都学，专门模型只学一类材料——源代码，或者数学题——用广度换取在狭窄任务上的准确度。这类模型通常比旗舰系统小得多，因此公司之外的人也能运行、也能检查。7B 指 70 亿参数，这个规模配上一块性能足够的 GPU 就能跑在单机上。

这一代模型几乎都建立在 Transformer 之上，其自注意力（self-attention）会把序列中每个词元与其余所有词元逐一比对。这种设计有效，但代价随序列长度增长得很快——当输入是一整个代码文件乃至整个代码仓库时，这一点就变得要紧。

发生了什么

2024 年 7 月 16 日，Mistral AI 在同一天发布了两个专门的 7B 开放模型，一个面向代码，一个面向数学 ^[1][2]。它们成对发布，但除了规模和领域侧重之外几乎处处不同：一个改变了底层架构，另一个改变的是训练数据和它所基于的基座模型。

Codestral Mamba

Codestral Mamba 不用 Transformer，而是构建在 Mamba 架构上，测试时上下文长度最高到 256K 词元 ^[1]。长上下文对代码很有用：模型在写出一个函数或一段补丁时，往往需要同时把大量周边材料放在视野里。该模型以 Apache 2.0 许可发布，允许使用和修改，限制很少 ^[1]。Albert Gu 和 Tri Dao 参与了它的设计 ^[1]。

Mamba 属于状态空间模型（state-space model）这一族。它不保存所有词元两两之间的对照表，而是把读过的东西压缩成一个不断更新的内部状态，每来一个新词元就更新一次；原理上这让计算代价随序列长度线性增长，而不是二次增长。这类架构在困难任务上能否与注意力机制比肩，正是一个已发布的模型可以让外部研究者去检验的问题。

模型卡报告的 HumanEval 成绩是 75.0% ^[3]。HumanEval 由一批短小的编程题组成，模型要根据函数签名和说明补全函数，报告的数字衡量的是生成的代码能通过随题测试的比例。

Mathstral

Mathstral 走的是另一条路：它基于 Mistral 7B，并与 Project Numina 合作构建 ^[2]。它在 MATH 上的得分为 56.6% ^[2]。MATH 是竞赛风格的题目集合，要求多步推理并写出解法，因此这一成绩反映的是模型能否把一条论证链推到最终答案，而不是能否回忆起某个事实。

其模型卡报告 GSM8K 在 8-shot 设置下的成绩为 77.1% ^[4]。GSM8K 由小学水平的算术应用题组成；8-shot 指在提问之前先给出八个已解答的样例，等于向模型展示期望的格式和推理方式，而不是为此做微调。

意义

这次发布展示了让一个小模型在某件事上变强的两条路径。一条是架构上的：把别人都在用的部件换掉，看看另一种设计能否更便宜地处理长输入。另一条是数据与协作上的：从一个已有的基座模型出发，与专攻该领域的外部项目合作。把两者都作为开放的 7B 模型发布，使得无法自行训练这类系统的研究者和开发者也能用上它们，并给了他们一个可以对照两种做法的共同尺度。

Mistral AI 把这两个模型定位为专门模型而非通用助手，二者的目标场景都是任务范围明确、结果可验证的情形——代码要么能跑要么不能跑，答案要么对要么错。