Mathstral

是什么

Mathstral 是 Mistral AI 于 2024 年 7 月 16 日发布的语言模型，参数量为 70 亿，专门面向数学推理^[1]。Mistral 把它描述为专攻 STEM（科学、技术、工程、数学）学科的模型，站在自家 Mistral 7B 的肩上——Mathstral 正是基于这个此前的通用模型构建的^[1]。也就是说，它不是从零训练的大模型，而是在一个小尺寸基座上加做的领域特化版本。

按模型卡的说明，它的 70 亿参数以 F32 张量形式存储^[3]。

由来

Mathstral 由 Mistral AI 与 Project Numina 合作开发^[1]。这是 Mistral 公开的关于模型构建过程的唯一细节，发布公告的重点更多放在模型能做什么，而不是它如何被训练出来。

测试成绩

在 MATH 上——一个由竞赛风格数学题组成的基准——Mathstral 得分为 56.6%；在 MMLU 上，也就是覆盖学校科目与专业领域的通识测试，得分为 63.47%^[1]。

Mistral 同时公布了在推理阶段多花算力所换来的成绩。多数投票（majority voting）的做法是对同一道题采样多个解法，取出现次数最多的答案，这一方法把 MATH 成绩提高到 68.37%；再用一个强奖励模型（reward model）在 64 个候选解法中排序挑选，成绩进一步升到 74.59%^[1]。这个模式并不陌生：小模型的单次作答准确率，可以通过生成多次再从中筛选而显著提高。

随权重一同发布的模型卡还给出了另外几组数字。在 GSM8K 上——一套小学水平的算术应用题——模型在 8-shot 设置下得分为 77.1%，即作答前先看 8 个示例^[3]。在 maj@16 设置下（每题采样 16 次、取多数答案），它在 Odyssey Math 上得 37.2，在 GRE Math 上得 56.9，在 AMC 2023 上得 42.4，在 AIME 2024 的 30 道题中答对 2 道^[3]。

这些数字之间的落差本身就很说明问题。70 亿参数的模型能够胜任小学算术和常规考试风格的题目，但奥赛级别的题目基本仍在射程之外：30 道题答对 2 道，离「解决」还差得很远。

获取与许可

模型权重托管在 Hugging Face 上^[1]，模型卡标注的许可证为 apache-2.0^[3]，对复用和修改的限制很少。Mathstral 目前被列入 Mistral 的弃用（deprecated）模型名单，官方给出的替代选择是 Mistral Small 4^[2]。这里的弃用指的是公司不再把它当作可以承载新工作的模型来推荐，并不意味着已发布的权重被收回。

在发展中的位置

Mathstral 属于一类小型、开放许可的领域模型：各家实验室在推出通用旗舰模型的同时，也会发布这类专门版本。它的设计假设是，一个紧凑的基座模型加上有针对性的特化，就能成为某类具体工作——这里是数学及相关理工科目——的实用工具，而且规模小到运行成本很低。

它的成绩也显示了这种思路在当下尺度上的天花板。多数投票、奖励模型重排这类推理阶段的手段，能在不重新训练模型的情况下把 MATH 从 56.6% 推到 74.59%，提升幅度相当大^[1]；但 AIME 2024 上 30 题答对 2 题的结果，则标出了能力边界所在^[3]。对关注这一领域的人来说，Mathstral 是一个有用的参照点：它说明一个 70 亿参数的模型在数学题上能做到什么、做不到什么，也说明一份公开成绩中有多大一部分可能来自「怎么问模型」，而不是模型本身。