《用 MATH 数据集测量数学问题求解》

要解决的问题

这篇论文关注如何测量模型的数学问题求解能力，标题把这项工作表述为用 MATH 数据集测量数学问题求解。论文于 2021 年 3 月 5 日提交到 arXiv，作者是 Dan Hendrycks、Collin Burns、Saurav Kadavath、Akul Arora、Steven Basart、Eric Tang、Dawn Song 和 Jacob Steinhardt。^[1] 对数学来说，只看最终答案不足以说明模型是否会推理；一个有用的评测集既需要足够难的题目，也需要把答案背后的步骤呈现出来。MATH 就是按这个目标提出的：它既用于测量问题求解，也提供材料来教模型生成推导和解释。^[1]

MATH 的构成

MATH 包含 12,500 道高难度竞赛数学题。^[1] 每题都有完整的分步解答，因此这些数据可以用来教模型生成答案推导和解释。^[1] 题目带有 1 到 5 的难度标签，覆盖 7 个科目，其中包括几何。^[2] 几何题中的图形可以用 Asymptote 语言以文本形式指定。^[2] 作者还提供了一个大型辅助预训练数据集，用来帮助模型学习数学基础。^[1] 这些设计各有作用：主数据集中的题目提供带解答的难题，难度标签让结果可以按不同级别描述，7 个科目的覆盖范围让结果可以按数学领域观察。辅助预训练数据承担的是另一类角色，它面向模型处理较难问题所需的基础。

分步解答和标签的作用

分步解答让同一道题不仅能给出对错，还能展示从条件到结论的过程；这使数据可用于教模型生成推导，而不只是记住最终答案。^[1] 难度标签把题目按 1 到 5 分级，便于比较模型在不同难度上的表现。^[2] 题目覆盖 7 个科目，几何题则用 Asymptote 把图形写成文本，使图形信息随题目文本一起保存。^[2] 这些信息让 MATH 不只是题目集合，也成为可以按难度和科目分析的数据集。

实验结果

论文报告说，即使使用规模很大的 Transformer 模型，准确率仍然相对较低。^[1] 模型在最简单难度级别上最高达到 15% 的准确率。^[2] 作者发现，如果缩放趋势继续下去，单纯增加预算和参数数量对于实现强数学推理并不实际。^[1] 这一结果把两个问题分开：模型能否给出答案，以及模型能否给出通向答案的步骤。论文的测量显示，大型模型在 MATH 上的准确率仍然有限，而作者认为在这些趋势下，继续扩大同类模型并不是实现强数学推理的可行办法。^[1]

为什么重要

这篇论文的贡献是一套同时用于测量和训练的资源。分步解答支持教模型生成推导和解释，而不只是给出最终答案。^[1] 辅助预训练数据集针对数学基础。^[1] 1 到 5 的难度标签和 7 个科目的覆盖范围让表现可以按级别和科目观察，其中包括用 Asymptote 写出图形的几何题。^[2] 最简单级别上的低准确率，加上关于预算和参数缩放的发现，说明了作者为何认为如果这些趋势继续，强数学推理不能只靠扩大规模来实现。^[1] 因此，MATH 既是一个有难度的测试集，也是数学问题求解的训练材料：它把题目、分步解答、难度信息和科目覆盖放在一起，使模型既能被测量，也能被教如何生成推导。