TellWorldAI 世界档案
问档案English

首页›实践›实践

实践

用 Gemini API 的 Computer Use 工具构建电脑操作智能体

用 Gemini API 的 Computer Use 工具搭一个能点击和输入的电脑操作智能体:循环怎么跑、坐标怎么换算、安全确认怎么处理。

如果你想让模型替你在网页上点击、输入、翻页,比如自动填表、批量测试一个网站的流程,或者比价调研,这篇适合你。读完你能搭出第一个浏览器操作智能体的主循环,知道坐标怎么换算,知道安全确认该怎么接,也能判断哪些任务不该交给它直接完成。

Computer Use 是什么

Computer Use 工具让模型通过截图「看」屏幕,再通过生成界面动作来「操作」,比如点击、滚动和键盘输入。它可以用来做浏览器、移动端和桌面端的控制智能体[1]。和函数调用很像,它本身不执行动作,执行环境要由你的程序来实现,接收模型给出的动作并真正去执行[1]。

Gemini 4 和 Gemini 3.x 系列模型在这个工具上还支持几项进阶能力:多种运行环境、每个动作附带的 intent 说明、可配置的安全策略,以及可选的提示注入检测[1]。intent 字段会解释模型为什么要做这一步,调试时很有用[1]。

先准备沙箱和依赖

Computer Use 会操作真实的界面,出错或被恶意内容误导时影响很大,所以官方建议把它放在沙箱里运行,比如隔离的虚拟机、容器,或者权限受限的专用浏览器配置。官方参考实现在 GitHub 上,里面有现成的 Docker 沙箱,可以直接拿来改[1]。

本文的示例用 Playwright 作为执行端。先安装 Python SDK 和 Playwright,再安装 Chromium 浏览器[1]:

pip install google-genai playwright
playwright install chromium

示例里把视口设为 1440 x 900,然后打开 google.com 作为起点[1]。调试时可以把 headless 设为 False,这样能直接看到智能体在屏幕上做了什么。注意,示例代码本身不是生产方案,正式运行时要放在沙箱里[1]。

第一个请求

发请求时,只需要声明 computer_use 工具,并指定运行环境为 browser。请求里不需要传屏幕尺寸。下面的例子还打开了提示注入检测,它默认是关闭的[1]:

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model='gemini-4-hydrogen',
    input="Find a flight from SF to Hawaii on Jun 30th, coming back on Jul 6th",
    tools=[
        {
            "type": "computer_use",
            "environment": "browser",
            "enable_prompt_injection_detection": True
        }
    ]
)

print(interaction)

这个例子用的是 gemini-4-hydrogen。如果你的任务更偏向复杂的软件工程、知识工作或科学流程,可以把模型换成 gemini-4-neon,它同样支持 Computer Use[1]。

主循环怎么跑

整个智能体是一个循环。你的程序发送提示词和当前截图;模型返回一个 function_call;你的程序执行这个动作;截取新的截图,放进 function_result 发回去;然后重复,直到任务完成或被停止[1]。

返回的动作里,坐标已经被归一化到 0 到 999 之间,请求里不需要传屏幕尺寸。你的程序要把它换算成视口里的真实像素。下面是一个返回点击动作的例子,其中的 intent 说明了这一步的目的[1]:

{
  "steps": [
    {
      "type": "function_call",
      "name": "click",
      "arguments": {
        "x": 450,
        "y": 120,
        "intent": "Click the search box to type the destination."
      }
    }
  ]
}

换算的办法很直接:横坐标除以 1000 再乘以屏幕宽度,纵坐标同理。下面的辅助函数展示了横坐标的写法,纵坐标只需把宽度换成高度[1]:

def denormalize_x(x: int, screen_width: int) -> int:
      """Convert normalized x coordinate (0-1000) to actual pixel coordinate."""
      return int(x / 1000 * screen_width)

每个动作执行完,都要等页面稳定,再截一张新图送回模型。执行失败时,把错误放进结果里返回,让模型知道哪一步没有成功,而不是默默跳过[1]。

动作有哪些

浏览器环境支持的动作包括 click、double_click、triple_click、middle_click、right_click、mouse_down、mouse_up、move、type、drag_and_drop、wait、press_key、key_down、key_up、hotkey、take_screenshot、scroll、go_back、navigate 和 go_forward[1]。

几个常用动作的参数值得记住。type 接收 text,还可以带一个 press_enter 布尔值,默认是 false;scroll 接收方向(上、下、左、右)和像素距离 magnitude_in_pixels,默认是 300[1]。桌面环境使用的是操作系统级别的光标命令,而 take_screenshot 在各环境里都能返回当前屏幕的截图[1]。

安全确认怎么接

模型内置了几类安全策略,比如 FINANCIAL_TRANSACTIONS 涉及付款和结账的操作,ACCOUNT_CREATION 禁止智能体自行注册账号,LEGAL_TERMS_AND_AGREEMENTS 禁止它自行接受服务条款。其他还有 COMMUNICATION_TOOL、SENSITIVE_DATA_MODIFICATION、DATA_MODIFICATION 和 USER_CONSENT_MANAGEMENT[1]。你可以覆盖其中的部分策略,但覆盖只代表你的偏好,模型仍可能返回需要确认的决定[1]。

响应里可能带有 safety_decision,它的 decision 字段可能是 require_confirmation。这时程序应该把决定告诉终端用户。用户确认后,在下一次 function_result 里设置 safety_acknowledgement,动作才会继续[1]。不管你怎么配置策略,这套处理都应该保留[1]。

提示注入检测是可选功能。开启后,它会检查随请求发送的截图里有没有隐藏的恶意指令,比如「忽略之前的命令」,发现后会阻止执行[1]。它能拦住一部分攻击,但不能代替沙箱。输入内容的清洗同样只是一层保护,不能替代安全的执行环境[1]。

哪些模型能用

支持 Computer Use 的模型包括 Gemini 4 Carbon、Argon、Neon 和 Hydrogen,以及 Gemini 3.8 Flash、Gemini 3.5 Flash-Lite 和 Gemini 3 Flash Preview[1]。Gemini 4 Argon 相比 Carbon 响应更快,每轮的 token 消耗也更低;Gemini 3.5 Flash-Lite 则是低延迟、成本较低的选择[1]。

风险和限制

Computer Use 可能出错,也可能存在安全漏洞。官方建议密切监督关键任务,不要把它用在需要关键决策、涉及敏感数据、或出错后无法挽回的任务上[1]。这一点在做自动化之前就要想清楚,因为智能体一旦点下了错误的按钮,撤销并不总是可行的。

下一步

先在沙箱里跑通一个只读的任务,比如搜索并记录几个页面的信息,再逐步加入表单提交这类有副作用的操作。每一步都保留截图和动作日志,出了问题才能回溯。模型列表和参数以官方页面为准[1]。

来源

  1. 1
    Computer useGemini API docs

引用本页: 用 Gemini API 的 Computer Use 工具构建电脑操作智能体. TellWorld, https://www.tellworld.net/zh/practice/practice-gemini-computer-use. 更新于 2026-11-20

相关动态