计算机使用（Computer use）

是什么

2024 年 10 月 22 日，Anthropic 在发布升级版 Claude 3.5 Sonnet 和新模型 Claude 3.5 Haiku 的同时，把计算机使用能力放到了公开测试（public beta）^[1]。具备这项能力的模型不只是输出文字：它会看屏幕上有什么，移动光标、点击按钮、敲入文字，像人一样操作一台电脑^[1]。Anthropic 称 Claude 3.5 Sonnet 是第一个在公开测试中提供计算机使用能力的前沿 AI 模型^[1]。

怎么工作

Anthropic 构建了一套 API（应用程序接口，供其他程序调用的接口），把一条指令翻译成计算机命令。开发者可以描述一个任务，比如填写一张表格，系统就会把它拆成一系列动作：查看电子表格、打开浏览器、录入数据^[1]。模型并不是在执行某个程序里写死的脚本，而是在屏幕上自行选择下一步。

这个设计是刻意为之。Anthropic 说，他们没有为每个任务单独造一个工具，而是教模型通用的计算机技能，让它能使用为人设计的标准软件^[1]。这正是「工具」和「技能」的区别：为某一件事造的工具只能做那一件事，而通用技能可以指向机器上已经装好的任何程序，因为屏幕、指针和键盘这套界面对人和对模型是同一套。

效果

这项能力在 OSWorld 上做了测量，该基准考察模型像人一样使用计算机的能力。Claude 3.5 Sonnet 在仅用截图的类别中得到 14.9%，而表现最好的其他系统为 7.8%；当给予更多步骤时，得分为 22.0%^[1]。这些数字描述的是一个有时成功、经常失败的系统，Anthropic 自己的说法也大致如此。

局限

公司称这项能力是实验性的，有时笨拙且容易出错；滚动、拖拽和缩放仍然会让模型为难，并建议开发者从低风险任务开始^[1]。这些动作对人来说稀松平常，对一个只能根据所见画面行事的模型却很别扭：长页面要翻，窗口要调大小，对象要从一处拖到另一处。

安全

一个会点击、会打字的模型也可能造成损害，因此 Anthropic 开发了新的分类器，用来识别计算机使用能力何时被启用、以及是否正在产生危害^[1]。按照其负责任扩展政策（Responsible Scaling Policy），公司认为这次发布适用 ASL-2 标准仍然合适，并称美国 AI 安全研究所与英国 AI 安全研究所参与了部署前的联合测试^[1]。

为什么重要

绝大多数软件是为人手和人眼写的。菜单、表单、按钮、滚动条，全都预设屏幕前坐着一个真人。计算机使用把这一约束变成了模型的入口：与其要求开发者为每个应用另建一套 API，不如让模型像用户那样直接去用这个应用。Anthropic 的说法点明了其中的赌注——要的是通用的计算机技能，而不是一个任务一个工具^[1]。公开的基准成绩和公司自己对易出错的提醒放在一起，恰好描述了这次发布的性质：一个能用、有明确边界、已经公开可试的第一版能力，而不是一件成品。