METR 发布 AI 任务时长度量研究

为什么要按「任务有多长」来衡量

大多数 AI 评测给模型出的题目都装得进一段提示：一道谜题、一个小型编程练习、一道选择题。真实的软件工作很少是这个样子。修一个只在生产环境出现的缺陷，或者调整一个系统的数据存储方式，都要经过很多步骤，模型必须在每一步上都保持方向。由短问题组成的基准，说明不了这类工作的能力。论文《Measuring AI Ability to Complete Long Software Tasks》于 2025 年 3 月 18 日提交到 arXiv，第一作者是 Thomas Kwa，它提出了一种给「长程」能力打一个数字的办法^[1]。

指标：50% 时间跨度

论文的核心提议是「50% 任务完成时间跨度（50%-task-completion time horizon）」：人类完成某些任务通常所需的时长，而这些任务正是 AI 模型能以 50% 成功率完成的任务^[1]。这个思路是把模型能力换算成人类的工作时间，而不是正确率百分比。它不问模型答对了多少道题，而问另一个问题：当任务对应的人类工作时长增加到多少时，模型的成功率会跌到大致相当于抛硬币？如果一个模型能稳定完成人类几分钟就能做完的任务，但在人类需要一小时的���务上大约一半会失败，那么它的时间跨度就落在不到一小时的位置。

人类基线是怎么测出来的

一个以人类时间定义的指标，需要人类的时间数据支撑。研究者请具备相关领域专长的人实际动手完成任务并计时，用到的任务来自 RE-Bench、HCAST 以及 66 个新的较短任务的组合^[1]。由于计时对象是真正懂这一行的人，得到的时长意在反映一名称职从业者完成该工作的真实耗时，而不是一个从零学起的人要花的时长。

主要发现

在这些任务上，Claude 3.7 Sonnet 等前沿模型的 50% 时间跨度约为 50 分钟^[1]。作者们也考察了这个数字随时间的变化，发现自 2019 年以来，前沿 AI 的时间跨度大约每七个月翻一倍，不过这一趋势在 2024 年可能有所加速^[1]。这样一个翻倍趋势对变化速度是很强的陈述：如果它成立，模型能以一半成功率完成的任务长度每两年左右就增长约八倍。

论文还追问了进步来自哪里。它报告说，时间跨度的增长似乎主要由更高的可靠性、对错误的适应能力、更好的逻辑推理以及工具使用能力所推动^[1]。这和单纯的知识量或单题求解能力不是一回事：长任务上的大量进步，来自模型在多个步骤中依然可用——出错时能调整回来，能记住自己已经做了什么，并且会在过程中操作工具。

趋势意味着什么

作者指出，按这一趋势外推，预测 5 年内 AI 系统将有能力自动化许多目前需要人类花一个月完成的软件任务^[1]。论文把这个说法呈现为「如果趋势延续」所蕴含的结果，而不是断言趋势一定会延续。到写作时，时间跨度翻倍的现象已经持续了数年，所以这个外推不是凭空的算术，而是对一种已观察到的模式的延长。

发表

这篇论文后来发表在 NeurIPS 2025 上^[1]。它的贡献主要是方法层面的：它让研究者和读者可以用「系统能承担多长的人类工作」来谈论模型能力，并给出了可支撑这类比较的、来自 RE-Bench、HCAST 和另外 66 个任务的人类实测基线^[1]。