TellWorldAI 世界档案
问档案English

首页›实践›实践

实践

让智能体操作浏览器:Claude in Chrome、Playwright MCP 与 Computer use

让智能体操作浏览器有三种方式:Claude in Chrome、Playwright MCP 和 Computer use。本文讲清各自怎么准备、怎么上手,以及需要守住的安全边界。

这篇适合谁

这篇适合想让模型替自己操作网页的读者,比如填表单、查页面或收集信息。文中讲三种方式:Claude in Chrome 在你自己的 Chrome 窗口里工作,沿用你已有的登录状态;Playwright MCP 通过标准协议给模型提供结构化的页面快照;Computer use 让模型根据截图,通过 API 发出鼠标和键盘操作。 ## 三种方式是什么

Claude in Chrome 是一个浏览器扩展,Claude Code 通过它连接 Chrome。Claude 为浏览器任务打开新标签页,并共享浏览器的登录状态,所以能访问你已经登录的任何网站。[1] Playwright MCP 是一个 Model Context Protocol(MCP)服务器。它让大模型通过结构化的无障碍快照(accessibility snapshot)与网页交互,不需要截图,也不需要视觉模型。它基于 Playwright 的无障碍树,而不是基于像素的输入。[3]

Computer use 工具是一个 API 工具,提供截图,以及用于自主桌面操作的鼠标和键盘控制。在请求的 tools 数组里加入一项 {"type": "computer_toolset_20260801"},Claude 就能获得 17 个成员工具,包括 screenshot、left_click、type 和 zoom。[4]

准备工作

Claude in Chrome 需要 Google Chrome 或 Microsoft Edge。但不支持 Windows 子系统 Linux(WSL)。[1] 前提条件是 Chrome 应用商店里版本为 1.0.36 或更高的 Claude in Chrome extension,以及一个 Anthropic 套餐,即 Pro、Max、Ultra、Team 或 Enterprise 之一。[1]

Playwright MCP 需要 Node.js 18 或更新版本,以及一个 MCP 客户端,比如 VS Code、Cursor、Windsurf、Claude Desktop、Goose、Grok 或 Junie。[3]

Computer use 通过 Messages API 调用。快速开始会设置 ANTHROPIC_API_KEY,请求头包括 content-type: application/json 和 x-api-key: $ANTHROPIC_API_KEY。[4] 演示程序运行在 Docker 里,需要单独准备。[5]

Claude in Chrome:分步上手

  1. 从 Chrome 应用商店安装 Claude in Chrome 扩展,确认版本是 1.0.36 或更高。[1]
  2. 用 --chrome 参数启动 Claude Code:claude --chrome。[1]
claude --chrome
  1. 用 /login 登录,Chrome 集成需要这种登录。如果你用 API key 或 claude setup-token 生成的长期令牌认证,即使传了 --chrome,Claude Code 也会关闭 Chrome 集成。[1]
  2. 随时可以运行 /chrome 查看连接状态、管理权限、重新连接扩展,或选择使用哪个已连接的浏览器。[1]

网站权限继承自 Chrome 扩展,在扩展设置里管理。浏览器操作开始前会弹出权限对话框,文字是 Claude in Chrome wants to,并提供在本次会话中允许该网站所有操作的选项。[1]

Playwright MCP:分步上手

Playwright MCP 以 MCP 服务器的形式配置。README 给出的标准配置适用于大多数工具:[3]

{
  "mcpServers": {
    "playwright": {
      "command": "npx",
      "args": [
        "@playwright/mcp@latest"
      ]
    }
  }
}

在 Claude Code 里,README 给出的安装命令是 claude mcp add playwright npx @playwright/mcp@latest。Codex 和 Amp 各有自己的命令,README 也一并列出。[3]

服务器参数放在 "args" 列表里,也可以用 npx @playwright/mcp@latest --config path/to/config.json 传入配置文件。[3] 最常用的参数有三个:--headless 让浏览器无窗口运行;--browser <browser> 可选 chrome、firefox、webkit 或 msedge;--caps <caps> 开启 vision、pdf 或 devtools。[3]

最主要的工具是 browser_snapshot,它抓取当前页面的无障碍快照。README 称它比截图更好用。browser_mouse_click_xy 这类基于坐标的工具需要通过 --caps=vision 显式开启。[3]

Computer use:分步上手

Computer use 工具运行在 Messages API 上。在请求的 tools 数组里加入 {"type": "computer_toolset_20260801"},不需要 beta 请求头。[4] 截图由 screenshot 完成,它截取整个显示器并以图片返回。left_click 可以带一个可选的 coordinate,格式是 [x, y]。坐标以截图的像素为单位,原点在左上角。[4]

演示程序建议使用 XGA 分辨率,即 1024x768,不建议发送高于 XGA 或 WXGA 的截图。依赖 API 缩放图片,准确率比在工具里直接缩放要低,速度也更慢。[5]

更早的 beta 工具版本不同。computer_20251124 需要请求头 computer-use-2025-11-24,computer_20250124 需要 computer-use-2025-01-24,且每个请求都要带上。[4]

演示程序从镜像 ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest 启动,映射 5900、8501、6080 和 8080 端口,合并界面在 http://localhost:8080。[5]

安全边界

浏览器智能体最大的风险是提示词注入(prompt injection)。恶意的人会把指令藏在网页、邮件或文档里,诱使 AI 做出有害操作,比如删除文件、窃取数据或进行金融交易。[2]

Claude in Chrome 首先依靠权限控制。用户可以随时在设置里授予或撤销 Claude 对特定网站的访问权限;在发布、购买或分享个人数据等高风险操作之前,Claude 会先询问。[2] Anthropic 的发布文章建议从可信的网站开始,留意 Claude 能看到的数据,并避免在涉及金融、法律或医疗等敏感信息的网站上使用。[2] 在覆盖 123 个测试用例、29 种攻击场景的对抗性提示注入测试中,没有安全缓解措施的浏览器操作攻击成功率为 23.6%;在自主模式下加入安全缓解后,这一比例降到 11.2%。[2] 项目本身不能开启 Claude in Chrome。如果 CLAUDE_CODE_ENABLE_CFC 写在项目的 .claude/settings.json 或 .claude/settings.local.json 里,Claude Code 会忽略它。原因是你检出的仓库不能有权限把 Claude 连到你的浏览器上。[1] 单次上传的文件总量上限是 10 MB;文件名或所在文件夹属于凭证存放位置的,比如 .env、.pem、.key 文件以及 .ssh 下的任何内容,Claude 会拒绝。[1]

根据 README,Playwright MCP 不是安全边界。--allowed-origins 和 --blocked-origins 不能作为安全边界,也不影响重定向。secrets 与 redactUrlParams 只是便利功能,不是安全功能。[3] 默认情况下,文件系统访问被限制在工作区根目录内,访问 file:// 地址也被禁止,除非设置了 --allow-unrestricted-file-access。工具 browser_run_code_unsafe 会在 Playwright 服务器进程里执行任意 JavaScript,等同于远程代码执行。[3]

Computer use 的安全建议同样直接。Anthropic 建议使用权限最小的专用虚拟机或容器,不要让模型接触账号登录等敏感数据,把互联网访问限制在域名白名单内,并让人工确认有现实后果的决定,比如完成金融交易。[4] Claude 有时会执行内容中找到的指令,即使这些指令与用户的要求相冲突,包括网页上或图片里的文字。分类器会扫描工具返回的内容,比如截图,以标记可能的提示词注入。[4]

限制和常见问题

Playwright MCP 的持久化配置文件同一时间只能被一个浏览器实例使用,所以多个 MCP 客户端共用同一个工作区会互相冲突。Docker 版本目前只支持无头模式的 chromium。[3]

Computer use 也有自己的局限。延迟可能太高,不适合人机实时交互。Claude 在输出具体坐标时可能出错或产生幻觉。在小众应用上可靠性下降。创建账号或在社交媒体上生成内容的能力有限。[4] 文档要求仔细检查 Claude 的 computer use 操作和日志;没有人工监督时,不要让它处理需要完全精确的任务或敏感信息。[4]

下一步

Claude in Chrome 的细节请读 Claude Code 文档中的 Chrome 集成页面。[1] Playwright 服务器的选项读 Playwright MCP 的 README。[3] Computer use 工具的请求格式和工具列表读 computer use 工具页面。[4] 演示程序的说明见它的 README。[5]

来源

  1. 1
    Use Claude Code with ChromeAnthropic (Claude Code Docs)
  2. 2
  3. 3
    Playwright MCP READMEMicrosoft (microsoft/playwright-mcp)
  4. 4
    Computer use toolAnthropic (Claude Platform Docs)
  5. 5
    Anthropic Computer Use DemoAnthropic (anthropics/anthropic-quickstarts)

引用本页: 让智能体操作浏览器:Claude in Chrome、Playwright MCP 与 Computer use. TellWorld, https://www.tellworld.net/zh/practice/practice-browser-agents. 更新于 2026-11-14

相关动态