《WebArena：构建自主智能体的真实网络环境》

要解决的问题

由语言模型驱动的智能体，被期望在网页上完成实际工作：点击、输入、跳转、填表、查资料。要衡量它们能不能做到，研究需要一个环境，让同一个任务能在相同条件下反复运行。真实网站每天都在变，而一份冻结的页面副本又不会对智能体的操作做出反应。WebArena 就是针对这一点搭建的：一个高度真实、可复现的环境，供语言引导的智能体在网页上执行任务。^[1]

环境是怎么搭的

环境由四类常见领域的功能完整网站构成：电子商务、社交论坛讨论、协作软件开发、内容管理。^[1]这些站点是能用的，而不是只供浏览的，所以智能体的动作会改变站点状态——发出一个帖子、下一笔订单、改动一个代码仓库——而结束后可以检查这些状态。

为了让任务更接近人们上网时真正做的事，环境里还配了地图这类工具，以及用户手册这类外部知识库。^[1]于是一个任务可能要求先查文档或先确认一个地点，再动手操作，而不只是顺着页面一路点下去。

作者表示，他们的代码、数据、环境复现资源和视频演示都公开在 webarena.dev 上。^[2]其中复现资源是让比较成为可能的关键：别的团队可以重建同一个环境、跑同一批任务，这样一个分数在不同论文之间才指同一件事。

任务与判定方式

基准任务是多样的、长程的，设计上模仿人类在互联网上经常执行的任务，评测关注的是任务完成的功能正确性（functional correctness）。^[1]「长程」意味着一个任务要走很多步，后面的步骤依赖前面产生的中间结果；「功能正确性」意味着判分看的是站点最终状态是否就是指令所要求的状态，而不是智能体具体的点击顺序、页面路径或措辞——同一个正确结果可能有好几条合法路线，评测要把它们都算对。

论文与结果

论文由 Shuyan Zhou、Frank F. Xu、Hao Zhu 以及包括 Graham Neubig 在内的 11 位其他作者于 2023 年 7 月 25 日提交到 arXiv。^[1]它最核心的测量是一个对比：表现最好的基于 GPT-4 的智能体端到端任务成功率为 14.41%，明显低于人类 78.24% 的水平。^[1]

差距说明了什么

端到端成功率只把完整做完的任务算作成功，因此 14.41% 描述的是做完的工作，而不是看起来合理的中间步骤。一个模型能说出怎么预订、怎么编辑页面、怎么发起一个讨论帖，并不等于它能在真实界面里把这一连串动作走完——在那里，每一步操作都会改变下一步可用的东西。

人类那一侧的数字给了这个结果一个标尺。78.24% 是人在同一批任务上达到的水平，两者之间的距离说明了这类日常网页工作中还有多大一部分是当前智能体做不完的，也把一个模糊的印象——智能体在这类事情上不太行——变成了可以被持续追踪的量。^[1]

一个可复现的环境加上固定的一套任务，还让结果在时间上可比：当有新智能体报告更高的成功率时，这个说法依赖的是同一批网站、同一批指令和同一种正确性定义。又因为环境横跨电子商务、论坛、协作软件开发与内容管理，它在同一个基准里覆盖了相当不同的页面类型和目标类型。^[1]

适用范围

14.41% 这样的数字，说的是这个基准、这批任务、在四个自成体系的网站上按功能正确性判分的结果。^[1]这篇论文提供的，是一个受控的场景，让「语言引导的智能体能不能完成一件真实的网页工作」这个问题有一个明确、可重复的答案。