《OSWorld：真实计算机环境中开放式任务的多模态智能体基准》

把一整台电脑当作试验场

OSWorld 于 2024 年 4 月 11 日提交到 arXiv，作者是 Tianbao Xie、Danyang Zhang、Jixuan Chen 以及另外 15 位合作者，其中包括 Victor Zhong、Tao Yu、Silvio Savarese 和 Caiming Xiong^[1]。作者称它是首个面向多模态智能体（multimodal agent）的可扩展的真实计算机环境^[1]。这里说的多模态智能体，指能读入屏幕上看到的内容（截图，通常还有文字）、再输出点击与键入等动作的模型。OSWorld 交给智能体的不是模拟出来的界面，而是一整套操作系统，覆盖 Ubuntu、Windows 和 macOS^[1]。它把三件事放在一起：任务的初始状态搭建、基于执行的评测（execution-based evaluation），以及在环境内进行交互式学习^[1]。

一道题是怎么定义的

这个基准共包含 369 个计算机任务^[1]。它们不是玩具题：任务涉及开放域中的真实网页与桌面应用、操作系统层面的文件读写，以及跨越多个应用的工作流^[1]。每个任务都配有详细的初始状态配置，以及一份专门为它写的基于执行的评测脚本^[1]。初始状态之所以关键，是因为同一条指令在不同的文件、窗口与账号状态下，难度可能完全不同；把起点固定下来，不同智能体的成绩才有可比性。评测脚本按执行结果判分：它不去读智能体说了什么，而是在动作完成之后检查机器状态，确认要求的变化是否真的发生。每个任务自带脚本，评分标准就能针对该任务定制，而不必硬塞进一个通用检查里。

人与模型之间的差距

最醒目的结果是差距。人类能完成 72.36% 以上的任务，最好的模型成功率只有 12.24%^[1]。作者把失败主要归因于两点：GUI 定位（GUI grounding）与操作知识^[1]。GUI 定位是把截图里看到的东西变成精确动作的那一步——点哪个位置、在哪里输入。操作知识则是知道电脑实际上是怎么用的：某个选项藏在哪个菜单下，弹窗在问什么，一条流程要走哪几步。这两件事对人来说近乎本能，对模型却很难，任何一处出错都可能让原本合理的计划失败。

辅助手段与它们的局限

论文还考察了能给智能体提供哪些帮助。智能体可以使用无障碍树（accessibility tree）和 Set-of-Mark 提示：前者是对界面元素的结构化描述，后者是在截图上做标记，让模型用标记去指代界面元素。这些辅助对一些模型有帮助，但也可能误导它们^[2]。视觉语言模型（VLM）智能体尤其难以把截图落到精确的动作坐标上^[2]。这一发现也说明了基准的用处：它能区分哪些困难可以靠更好的提示方式补上，哪些仍然没有解决。

公开了什么，为什么重要

代码、环境、基线模型和数据全部公开^[1]。由于分数取决于机器上真实发生了什么，而不取决于智能体怎么描述自己的工作，它衡量的是任务究竟有没有被做完。把智能体放进真实操作系统上的开放域应用里，任务就贴近了电脑在实践中的用法；而人类上限与最好模型之间的这段距离，标出了多模态智能体在普通桌面工作上还要走多远。