Project Astra

是什么

Project Astra 是 Google DeepMind 的通用 AI 助手研究原型，2024 年 5 月 14 日在 Google I/O 上展示。^[1] Google 把它描述为一个先进的、能看能说的响应式智能体（agent），也就是一个能接收用户给它看的东西、听用户说的话，并当场作出回应的系统。^[1]

它是原型，不是成品。Google DeepMind 的 Project Astra 页面把它称为一个研究原型，由数量有限的受信任测试者使用并打磨。^[3]

怎么工作

Google 说，这个原型处理信息更快，靠的是三件事同时做：连续编码视频帧，把视频与语音输入合成一条事件时间线，再把它缓存起来以便高效回忆。^[1]

拿它和普通的文字助手对比最容易理解。聊天助手收到的是一句写好的问题，然后给出回答；Astra 收到的是连续的流：摄像头画面不断到来，用户同时还在说话。编码视频帧，是把画面转换成模型能处理的形式；把画面与语音合在一起，就得到了一份「什么时间看到了什么、说了什么」的有序记录。缓存解决的是回忆的成本问题：不必每来一个问题就把全部内容重新处理一遍，系统可以直接回看存下来的时间线。正因如此，问起片刻之前展示过的东西时，它不必重放整段流就能作答。

Astra 也不只是看和说。Google 说它能使用 Search、Gmail、Calendar 和 Maps，并能通过界面控制来完成任务。^[3] 也就是说，这个原型被设计成不止于对话，还要跨 Google 的各项服务、在屏幕上真正把任务做下去。

从首次演示到 Gemini 2.0

2024 年 12 月，Google 发布了基于 Gemini 2.0 构建的更新版 Astra。^[2] 这次更新带来了多语言对话，可以使用 Google Search、Lens 和 Maps，单次会话内最多 10 分钟的记忆，以及在原型眼镜上进行测试。^[2]

会话记忆与硬件在设计里是绑在一起的。Google 说 Astra 运行在 Android 手机和原型眼镜上，其记忆能让一段对话跨设备延续。^[3] 于是在手机上开始的一段对话，可以接着在眼镜上继续，而不必从头再来。

在 Google 规划中的位置

Astra 扮演的是试验田的角色，其中的部件随后被搬进产品。Google 说，它正在把 Astra 的屏幕共享、视频理解等能力整合进 Gemini Live。^[3] 它还说，正在努力把 Project Astra 的能力带到 Gemini Live、带到搜索的新体验，以及眼镜这类新的产品形态上。^[3]

这种安排解释了为什么原型留在测试者手里，而它的功能却出现在别处：能看会说的助手以 Astra 之名继续研发，其中的屏幕共享、视频理解、记忆、对 Search 和 Maps 的调用等部分，成熟一项就被并入 Gemini Live 和其他 Google 产品，眼镜则被点名为正在探索的硬件方向之一。^[3]