《论智能的测量》（ARC-AGI）

论文要解决的问题

2019 年 11 月 5 日，Francois Chollet 把题为《论智能的测量》（On the Measure of Intelligence）的论文提交到 arXiv^[1]。这篇论文讨论的不是某个新模型，而是用来评判模型的尺子。它的核心主张是：要想有意识地朝着更智能、更像人类的人工系统前进，就必须以一种能够比较两个系统、也能把系统与人放在一起比较的方式来定义和评估智能^[1]。

道理并不复杂。一个基准分数只有相对于它所用的任务、评分规则以及这些规则背后的假设才有意义。如果两个系统是在不同任务上被测的，或者任务的评分方式在人类身上找不到对应物，那么得到的数字就无法说明哪一个系统更接近类人的智能。换句话说，共同的定义是把一堆零散成绩变成一条前进方向的东西。

基于算法信息论的定义

论文没有停在批评上，而是提出了一个建立在算法信息论（Algorithmic Information Theory）之上的智能定义^[3]。在这个框架里，智能被描述为「技能获取效率」而不是技能本身：重要的不是系统在某一个它专为设计的任务上表现多好，而是相对于给定的先验知识和经验，它能获得多少技能。这个定义挑出了四个必须先讲清楚才能做比较的因素：所考虑任务的范围、其中涉及的泛化难度、系统一开始带有的先验，以及它被允许动用的经验^[3]。

正是这四个因素让定义在实践中有用。一个在接近已见过的任务上表现良好的系统，或者一个被预先灌入大量相关结构的系统，其成绩与一个起点更少、却达到同样表现的系统并不等价。把范围、泛化难度、先验和经验明确写出来，才可能把两个系统、或者一个系统与一个人放进同一把尺子里。

抽象与推理语料库

为了给这个定义提供可测量的对象，论文同时提出了一个基准：抽象与推理语料库（Abstraction and Reasoning Corpus）。它后来被改名为 ARC-AGI，以避免与其他 AI 基准在名称上撞车^[2]。最初的数据集现在被称为 ARC-AGI-1，它是一组任务；每个任务由示范对和测试输入组成，全部都是网格，网格最多 30×30 个格子，每个格子取 10 个不同取值之一^[2]。解题者看到示范对之后，必须推断出把一张网格变成另一张网格的底层规则，再把这条规则套用到每个测试输入上，构造出对应的输出网格；每个测试输入允许尝试两次^[2]。

任务里没有放进去的东西，和放进去的东西一样是刻意安排的。解题不需要专门的领域知识，也不需要语言，基准只假定「核心知识」（Core Knowledge）概念，例如对象性、基本拓扑和初等整数运算^[2]。因此一道题无法靠回想某个事实、翻译一句话或调取记住的样本来答对。解题者必须自己判断网格中哪些部分表现为对象、这些对象之间是什么关系，再从少数几个例子里把变换规律找出来——这正是人类在极少指导下就能完成的抽象。

为什么重要

这篇论文的贡献是概念性和方法性的，它并不报告某个系统：它给出一个既能用于机器也能用于人的智能定义，并围绕该定义视为最低限度的先验设计了一个基准^[1][2][3]。由于任务只假定核心知识，在这些任务上的表现并不代表系统吸收了多少领域数据，这正是它有可能被用来在系统之间、以及系统与人之间做比较的原因。

名称的后续变化也反映了这个基准被接受的方式：语料库后来被称为 ARC-AGI，为的是避免与其他 AI 基准混淆^[2]。最初的任务集如今被称作 ARC-AGI-1，这使它在位置上成为一系列版本中的第一个，而不是一个孤立的集合^[2]。