OpenAI o3 在 ARC-AGI-1 上取得 75.7%（高算力 87.5%）成绩

背景

ARC-AGI-1 是一套抽象推理基准（benchmark）。每道题给出几个示范例子，要求解题者据此给出新题目的答案；题目在设计上让「背下训练数据」不起作用，测的是能否从少量示例中推出规则。很长一段时间里，模型在这套基准上的得分极低，因此它被当作观察系统能否处理真正陌生问题的标尺。

结果

2024 年 12 月 20 日，ARC Prize 基金会宣布，OpenAI 的新系统 o3 在 ARC-AGI-1 公共训练集（Public Training set）上训练后，于半私有评测集（Semi-Private Evaluation set）的 100 道私有题目上取得 75.7%，这一成绩是在公共排行榜 1 万美元算力上限的约束下测得的；同一系统的高算力配置得分为 87.5%^[1]。

在包含 400 道题的公共评测集（Public Eval）上，o3 在高效率配置下取得 82.8%，在低效率配置下取得 91.5%^[1]。

成本与算力

75.7% 这一成绩符合 ARC-AGI-Pub 的预算规则，因此有资格位列公共排行榜第一。低算力模式下每道题的成本约为 27 美元，而人类解题者每题约需 5 美元^[1]。算力加大后差距明显拉开：高算力配置对每道题采样 1024 次，约为每题采样 6 次的低算力配置算力的 172 倍^[1]。

受测的是哪个版本

OpenAI 表示，受测的 o3 模型在公共训练集的 75% 上训练过，未透露更多细节；2025 年 4 月 16 日的一则更新指出，正式发布的 o3 与公告中测试的版本并不相同^[1]。因此这些数字描述的是一次评测中的特定配置，而不必然等同于用户后来能够使用的系统。

反应

ARC Prize 创始人 Francois Chollet 写道，o3 的核心机制看起来是在 token 空间内进行自然语言程序的搜索与执行，也就是让模型用日常语言提出程序并把它运行出来，而不是直接检索一个答案。他还预计，即将推出的 ARC-AGI-2 会把 o3 的成绩压到 30% 以下，即便在高算力下也是如此，而一个聪明的人类不经训练仍能拿到 95% 以上^[1]。这一预测把此次成绩放进了一条更长的线索里：每当某个基准被大幅攻克，就会有更难的基准被设计出来，继续测量旧基准已经分辨不出高下的东西。

意义

公告把这一结果放在基准自身的历史坐标里：ARC-AGI-1 用了四年，才从 2020 年 GPT-3 的 0% 走到 2024 年 GPT-4o 的 5%，而 o3 的成绩被称为 AI 能力的一次阶跃式提升^[1]。在一个以「无法靠记忆解决」为设计目标的测试上出现这样的跃升，自然引出了「这套基准还在测什么」的问题，公告给出的答案是推出后续版本——在新版本上，即便高算力系统也被预计远低于未受过训练的人类。对关心这一领域的人来说，此事标志着这样一段时间点：一套多年未被攻克的基准，其第一版在很短时间内被大幅拿下，讨论随即转向下一代基准的设计。