Anthropic 推出电脑操作（computer use）、升级版 Claude 3.5 Sonnet 与 Claude 3.5 Haiku

背景

这次公布同时涉及两款 Claude 3.5 模型：升级版 Sonnet 与新的 Haiku。^[1]

发生了什么

2024 年 10 月 22 日，Anthropic 同时宣布三项内容：升级版 Claude 3.5 Sonnet、新的 Claude 3.5 Haiku，以及以公开测试版推出的电脑操作（computer use）。^[1]

借助电脑操作，开发者可以让 Claude 像人一样使用电脑：查看屏幕、移动光标、点击按钮并输入文字。^[1]

Anthropic 称，Claude 3.5 Sonnet 是前沿 AI 模型中第一个以公开测试版提供电脑操作的模型。它还把该能力定性为实验性功能，并称其有时容易出错。^[1]

关键细节

升级版 Sonnet 在 SWE-bench Verified（一套基于真实软件问题的测试）上得分 49.0%，此前为 33.4%。在 OSWorld（电脑任务测试）上，它在仅依赖截图的类别中得分 14.9%，允许更多步骤时得分 22.0%。^[1]

Claude 3.5 Haiku 在 SWE-bench Verified 上得分 40.6%，并在许多基准上追平了 Claude 3 Opus。^[1]

电脑操作的早期采用者包括 Asana、Canva、Cognition、DoorDash、Replit 和 The Browser Company。^[1]

美国与英国的 AI 安全研究所在发布前测试了升级版 Sonnet。^[1]

电脑操作通过 Anthropic API、Amazon Bedrock 和 Google Cloud Vertex AI 提供。^[1]

影响

电脑操作让 Claude 代替用户在软件中执行操作，这与回答问题、撰写文字是不同类型的任务。Anthropic 把该功能定位为实验性，并列出了上述早期采用者。^[1]