OpenAI o1 在 AIME 2024 上取得 83% 成绩

背景

AIME（American Invitational Mathematics Examination，美国数学邀请赛）是美国面向高中生的数学竞赛，参赛者需先通过前置的选拔轮次。它的每道题答案都是整数，判分完全机械，成绩因此很容易陈述：15 道题中解出了几道。正因如此，它成为衡量多步数学推理的一个便利标尺，2024 年 9 月 OpenAI 就把它用作模型发布时的主要指标之一。

发布了什么

2024 年 9 月 12 日，OpenAI 发表题为《Learning to Reason with LLMs》的文章，介绍 o1——一个用强化学习（reinforcement learning）训练、用来完成复杂推理的新型大型语言模型^[1]。文章在多个基准上把新模型与 GPT-4o 对比，AIME 2024 是其中数学的那一项。

AIME 2024 上的数字

在 AIME 2024 上，GPT-4o 平均解出 12% 的题目（15 题中 1.8 题）。o1 在每题只给一个采样时平均解出 74%（15 题中 11.1 题），在从 64 个采样中按共识选出答案时达到 83%（15 题中 12.5 题）^[1]。附录表格用标准记法列出了同一组对比：o1 的 pass@1 为 74.4、cons@64 为 83.3，GPT-4o 则分别为 9.3 和 13.4^[1]。所以标题里那个 83%，对应的是共识采样的成绩，而不是单次作答的成绩。

这两个记法描述的是两种不同的流程。pass@1 只判模型给出的第一个、也是唯一一个答案；cons@64 则是先生成 64 个答案，再按它们之间的一致性挑出一个来判。两者之间约 9 个百分点的差距，衡量的是在作答阶段多花计算能换来什么，而不是模型一次就能做到什么。

采样越多，分数越高

文章还报告了把采样规模进一步扩大后的结果。用一个学习得到的评分函数对 1000 个采样重新排序，o1 在 AIME 2024 上达到 93%（15 题中 13.9 题）^[1]。13.9 这一分数可排进全国前 500 名学生，并高于美国数学奥林匹克（USAMO）的入围线^[1]。把 74%、83%、93% 三个数字放在一起，是一条清晰的曲线：生成的采样越多、在采样之间做选择所花的力气越大，准确率就越高。

竞赛编程

文章还在 Codeforces 上测量了另一类推理。Codeforces 是举办竞赛编程比赛、参赛者带有 Elo 积分的平台。在 Codeforces 题目上，o1 的 Elo 达到 1673，位于参赛者的第 89 百分位；o1-preview 为 1258，第 62 百分位；GPT-4o 为 808，第 11 百分位^[1]。竞赛编程考的同样是读懂一条精确的题目描述、找到一个方法并完整无误地实现出来，因此这一结果与数学成绩被放在一起呈现，而不是作为孤立的说法。

为什么这个结果重要

报告中有两点值得注意。第一是单次采样差距之大：74% 对 12%，说明进步并不只是「多抽几次、挑一个好的」的产物——仅凭模型的第一个答案，就已经走完了大部分距离。第二是成绩对采样预算的依赖暴露得如此明显。从一次采样到 64 次共识、再到 1000 次重排序，同一个模型从 74% 走到 83%、再到 93%，这意味着推理时的流程本身就是结果的一部分，而不是可以忽略的细节。读这类数字时，必须知道它是用哪套流程跑出来的；脱离这一点，单独一个百分点很容易误导人。

数字的来源也值得留意。这些是模型开发方在自己的发布文章中给出的结果，不是独立第三方评测，对照的也是同一家公司更早的 GPT-4o。AIME 与 Codeforces 上的这些数字，最合适的读法是：它们记录了那一天在这两个基准上所报告的情况，也提供了一种此后被反复沿用的呈现方式——一道很难的考试、一个单次采样成绩、一个更大采样预算下的成绩，三者并列给出。