《FrontierMath：评估 AI 高级数学推理能力的基准》

一个以难题为核心的基准

基准（benchmark）是一组题目固定、答案可核验的测试，让研究者能在同一套任务上比较不同的 AI 系统。一个基准究竟能说明什么，取决于它的题目有多难，而 FrontierMath 从一开始就把门槛设得很高。它是一个由数百道原创、难度极高的数学题组成的基准，题目由专家数学家撰写和审核，由 Epoch AI 推出，相关公告最初发布于 2024 年 11 月 8 日^[1][2]。

题目是怎么做出来的

这些题目是新的、未曾公开发表过的，而不是从教材或竞赛题库里收集来的。FrontierMath 把新题与自动核验结合起来：答案可以由机器检查，同时把数据污染的风险压到较低水平^[1]。所谓数据污染，是指基准题目出现在模型训练所用的文本里，从而让模型显得比实际更强。

该基准由 60 多位来自顶尖机构的数学家协作开发，参与者中有教授、国际数学奥林匹克（IMO）的出题人，也有菲尔兹奖（Fields Medal）得主^[2]。题目被设计成「无法靠猜做对」（guessproof），猜中正确答案的概率低于 1%^[2]。论文致谢了 OpenAI 对该基准创建工作的支持，并感谢 Terence Tao、Timothy Gowers 和 Richard Borcherds 接受访谈，其中 Terence Tao 还贡献了若干道题^[1]。

题目覆盖什么

问题覆盖现代数学的大多数主要分支，既有数论与实分析中计算量很大的题目，也有代数几何与范畴论中较为抽象的题目^[1]。

难度的标定以在职数学研究者为参照：解出一道典型题目，需要相关分支的研究者投入数小时，而其中较难的题目可能要花上数天^[1]。因此，这个基准瞄准的是研究级别的推理，而不是中小学或竞赛练习，尽管它的部分贡献者确实为竞赛出题。

发布时的结果

在基准发布时，当前最先进的 AI 模型解出的题目不足 2%^[1]。论文把这一结果作为证据，说明 AI 系统与整个数学界的能力之间存在很大差距^[1]。

为什么设计方式决定了分数该怎么读

一份难题上的低分，只有在无法用其他方式通过这份测试时才有意义。FrontierMath 的两个设计选择直接回应了这一点。题目是新写的、此前未公开发表，因此模型在训练中见到它们的可能性较低，这就降低了分数反映记忆力而非推理能力的可能^[1]。题目又被设计成无法靠猜做对，猜中的概率低于 1%，因此高分也不可能来自运气^[2]。自动核验则让模型评估过程中的答案检查保持一致^[1]。

这些选择合在一起，使得「不足 2%」这个数字描述的是这样一种表现：题目需要专业人士花上数小时甚至数天，内容此前并不公开。这个基准因此记录下了 AI 系统与在职数学家之间一个具体的比较位置，也为后续评估留下了一组固定的题目，用来衡量高级数学推理方面的进展^[1]。