《τ-bench：真实领域中的工具-智能体-用户交互基准》

它想补上什么缺口

语言智能体（language agent）靠调用外部工具来完成任务。此前的基准没有考察两件在真实部署中很关键的事：智能体如何与人类用户来回交互，以及它是否遵守某个领域特有的规则 ^[1]。τ-bench 正是为补上这个缺口而设计的 ^[1]。

基准怎么运作

τ-bench 的一道任务就是一段对话。用户那一侧由语言模型扮演，因此对话会随着智能体的言行朝不同方向发展。智能体那一侧拿到两样东西：一组可以调用的领域专用 API 工具，以及政策条文（policy guidelines）——类似于公司交给客服人员的那套书面规则 ^[1]。由于用户和工具都是设置中活的部分，这个基准模拟的是动态对话，而不是让智能体一次性读完的固定脚本 ^[1]。

打分不看智能体回复的措辞。对话结束时，基准把数据库的状态与该任务标注好的目标状态作比较 ^[1]。真正算数的是通过工具是否做出了正确的改动——订单有没有被取消、记录有没有被改正、账户有没有被更新——而不是智能体听起来是否乐于帮忙、句子是否像样。这样一来，被评估的对象就是智能体所操作的世界的最终结果。

衡量一致性的指标：pass^k

论文提出了一个新指标 pass^k，用来评估智能体在多次试验中行为有多可靠 ^[1]。普通的准确率回答的是一个更窄的问题：智能体有没有把这道任务做对一次？而一个会被真实用户反复使用的系统必须比这更好，pass^k 要记录的正是这种差别——它看的是对同一道任务的重复尝试，而不是单次尝试。

结果说明了什么

最醒目的结论是：强模型在这类工作上远谈不上可靠。即便是 GPT-4o 这样的先进函数调用智能体，也只成功的完成了不到 50% 的任务，而且表现相当不稳定，在零售领域 pass^8 低于 25% ^[1]。换句话说，一次能做成某道任务的智能体，在同一道任务再次出现时经常失败，而这个落差大到足以被专门为此设计的指标捕捉到。

为什么重要

这个基准把通常分开衡量的两种能力放在了一起：与需求会跨若干轮逐步展开的用户进行对话，同时在过程中不越出某个领域的规则 ^[1]。它还把成败系于数据库状态而不是生成的文本 ^[1]。再加上 pass^k，这套设置把关注点从「智能体究竟能不能做这件事」转向「能不能指望它稳定地做成这件事」 ^[1]。对任何构建或部署工具型智能体的人来说，后者才是决定这套系统能否放到真实用户面前的问题。