《ARC-AGI-2：面向前沿 AI 推理系统的新挑战》

要解决的问题

基准测试只有在「难在该难的地方」时才有用。ARC-AGI-2 来自 Francois Chollet、Mike Knoop、Gregory Kamradt、Bryan Landers 和 Henry Pinkard 五人合写的论文，2025 年 5 月 17 日提交到 arXiv^[1]。它要测的是抽象推理（abstract reasoning），目标是在更高的流体智力（fluid intelligence）水平上考察前沿 AI 推理系统^[1]。所谓流体智力，指的是在没有现成经验可套用时、从眼前的少量信息里推出规律并处理陌生问题的能力^[1]。

任务怎么设计

ARC-AGI-2 沿用了前一版的输入—输出配对（input-output pair）任务格式^[1]。在这套格式里，解题者会看到少量示例，每个示例给出一个输入和与之对应的正确输出，然后需要为一个新的输入给出输出。格式本身不说明规则是什么，规则必须从示例中推断出来，再应用到新输入上。保持格式不变有很实际的理由：围绕前一版搭好工具、积累直觉的研究者可以直接接着用，不必从头再来^[1]。

第二版改了什么

改变的是任务集本身。ARC-AGI-2 纳入了一套新整理、规模更大的任务，目的是在更高的流体智力水平上提供更细致（more granular）的评估信号^[1]。细致本身就是重点：如果每个系统都直接失败，这个基准在给出第一轮结果之后就不再说明问题；而分数能够小幅移动的基准，才能持续显示前沿究竟在什么位置，也才能区分模型的变化是来自推理变强，还是来自运气。

论文同时给出了大量人类测试结果，作为基线^[2]之外的另一重支撑^[1]。这条基线有两个作用：说明这些任务对人类智力来说是够得着的，也说明同样的任务对当前的 AI 系统依然困难^[1]。如果没有人类参照，机器分数低就可能有两种解释——任务确实难，或者任务本身没说清楚。

ARC Prize 2025 的成绩

新数据集第一次大规模公开检验，来自以 ARC-AGI-2 为目标的 ARC Prize 2025 全球竞赛^[2]。这场比赛吸引了 1,455 支队伍、15,154 份提交，最高分在 ARC-AGI-2 的私有评测集上达到 24%^[2]。

这个结果的两半都有信息量。参赛规模说明它吸引的是持续投入，而不是零星尝试；最高分说明基准还有多少没被拿下——24% 明显高于零，也明显算不上解决。处在这样一个区间的基准才在发挥作用，因为它把「部分进展」和「能力已经到齐」这两种说法区分开了。

产业界的采用

2025 年，四家前沿 AI 实验室——Anthropic、Google DeepMind、OpenAI 和 xAI——在公开的模型卡（model card）中报告了 ARC-AGI 上的表现^[2]。模型卡是实验室随模型一同发布、说明模型能做什么与不能做什么的文档；当相互竞争的实验室在各自的文档里写同一个基准，它实际上已经成了共同的尺子。ARC Prize 2025 的报告把这一现象描述为：ARC-AGI 由此确立了 AI 推理领域行业标准基准的地位^[2]。

走向 ARC-AGI-3

ARC Prize 2025 的报告还预告了下一步的 ARC-AGI-3，它引入的是交互式推理挑战^[2]。现在的任务只需给出一个答案，交互式任务则要求探索、规划、记忆、目标获取和对齐这些能力^[2]。换成日常说法：系统要先在不熟悉的环境里试探，弄清它如何运作；把动作按顺序排向某个目标；把学到的东西带到后续步骤里；甚至自己判断目标是什么；并且在做这些事的过程中不偏离原本的意图。每一条都是独立的要求，合在一起，描述的是一种比「从示例推一次答案」更难的推理。

为什么重要

ARC-AGI-2 的分量来自几件事的组合：一个明确的能力目标，一条说明任务对人类公平的人类基线，一场给前沿打出具体数字的公开竞赛，以及被受测系统所属的实验室写进文档^[1][2]。私有评测集上 24% 的最高分，就是推理系统在这个基准面前所处位置的具体读数^[2]。