背景
电脑操作(computer use)指 AI 模型代替用户操作电脑上的应用和网页。2026 年 11 月 19 日,Google 为 Mac 版 Gemini 应用宣布了这一功能,相关文章由 Google Gemini 应用群组产品经理 Michael Friedman 撰写。[1]
发生了什么
Gemini 可以在 Mac 上的应用和网页之间操作,跨本地文件、桌面应用和网络完成多步骤任务。[1] 它在一个隔离的后台窗口中工作,聊天界面里会实时显示预览,因此用户的主屏幕和鼠标指针不会被占用。[1]
控制方式
用户可以选择允许 Gemini 访问哪些应用。每一步操作都可以实时查看,用户随时可以暂停,并且可以在关键操作发生前予以确认。[1]
示例
文章给出了三个例子:批量调整照片的颜色,从本地 PDF 中提取重量和地址以填写运费报价,以及根据实时仪表盘制作 Google 幻灯片(Google Slides)演示文稿。[1]
名词解释
电脑操作(computer use)指模型通过界面操作电脑,例如点击按钮、输入文字、读取屏幕内容,而不只是通过 API 交换数据。多步骤任务指模型需要按顺序完成多个动作,并把前一步得到的信息用于下一步。跨本地文件、桌面应用和网页的任务更难,因为每个环境都有自己的界面和规则。
隔离的后台窗口是指任务在一个独立窗口中进行,不占用用户的主屏幕和鼠标指针,因此任务运行时,用户可以继续在其他应用中工作。实时预览让用户无需切换窗口就能看到 Gemini 正在做什么。在关键操作前请求确认是这类工具常见的安全措施:可能改动或发送内容的步骤,例如把文件发给他人,会在执行前由用户确认。
示例所指向的主要用途是自动化重复性的琐事。例如把许多照片用同一套参数调整、把文档中的数字填入表单、根据仪表盘制作幻灯片,都是人工操作耗时的常规工作;只要步骤描述清楚,电脑就能反复执行。用户在使用时,需要判断哪些应用可以开放给模型,以及哪些步骤必须自己确认,这也是这类功能的使用前提。
来源
- 1
引用本页: Gemini 应用在 Mac 上推出电脑操作(computer use). TellWorld, https://www.tellworld.net/zh/news/gemini-app-mac-computer-use-2026. 更新于 2026-11-20