《Terminal-Bench：命令行界面中困难真实任务的智能体基准》

要解决的问题

越来越多的 AI 智能体（agent）会被交给一个终端，要求在终端里把活干完：装软件、搬文件、修好一份坏掉的配置、反复运行构建直到通过。这类工作很难评分。聊天式的问答有可以对照参考答案的答案；而一次终端操作有初始状态、一堆中间命令，以及一个可能对也可能错的最终状态。Terminal-Bench 就是为了补上这块测量空白而做的。

基准里有什么

论文提出 Terminal-Bench 2.0，这是一个经过精心筛选的困难基准，由 89 个任务组成，全部在计算机终端环境中完成，灵感来自真实工作流中出现的问题^[1]。筛选这一步很关键：任务是被挑选出来的，而不是从网上抓来的，因此每一个都应当代表人们真的会在命令行前面对的事情。

每个任务都配有自己独立的环境、一份人类编写的解答，以及用于验证结果的完整测试^[1]。从结构上说，一个任务由指令、Docker 镜像、一组测试、一份示例解答和一个时间限制构成^[2]。Docker 镜像固定了起始状态，使任务在任何机器上表现一致；指令是智能体看到的内容；测试决定任务是否完成；示例解答说明确实存在可行解法，并提供一个参照；时间限制则让评测不至于无限拖下去。

评分方式

因为环境是一个容器，评测可以自动进行。智能体被放进镜像，读取指令，在终端里一直操作到它认为任务结束为止。随后，测试针对容器最终的状态运行。只有当这些测试通过，任务才算解决；示例解答表明，在给定的限制内这是可以做到的。这样的设计让评分保持客观、可复现，不必靠人去读一遍操作记录、再判断做得像不像。

结果

最引人注意的结果是当前系统与全对之间的差距。作者展示，前沿模型和智能体在该基准上的得分低于 65%^[1]。更小的模型表现差得多，得分在 15% 左右^[2]。因此，这个基准能把一些在更简单的测试里看起来差不多的系统区分开来：即便是最强的模型和智能体框架，也仍有相当比例的任务没有解决。

除分数之外，作者还做了错误分析，找出模型与智能体可以改进的地方^[1]。这其实是一篇基准论文里更有用的那一半：一个准确率数字只说明缺了多少，而对失败的分析说明缺的是哪一类能力，开发者正需要后者来决定改什么。

为什么重要

数据集和评测框架（evaluation harness）都已公开，供开发者和研究者在今后的工作中使用^[1]。对这类基准来说，公开有两点意义：一是让不同团队在同一批任务上比较系统，而不是各用各的私有测试集；二是让人能检查任务和评分逻辑，而这是让一个数字可信的唯一途径。

终端本身也是一个要求很高的场景。它需要读懂陌生的系统，需要在一步出错就会传导下去的多步操作中行动，还需要判断一个结果是真的正确，还是只是看起来合理。一个由经过筛选的真实任务构成、并且可以用程序验证的基准，让这类能力有了可衡量的对象，也让整个领域有了共同的目标。

由来

论文作者由 Mike A. Merrill、Alexander G. Shaw 和 Nicholas Carlini 领衔，作者名单很长，还包括 Ludwig Schmidt、Andy Konwinski 和 Alex Dimakis。论文于 2026 年 1 月 17 日提交到 arXiv^[1]。