Google DeepMind 在 I/O 展示 Project Astra

背景

长期以来，AI 助手基本按「一问一答」的方式工作：用户提问，模型作答，对话结束后，之前的画面和语音大多不会留下。摄像头和语音输入并不新鲜，但助手通常不会持续保存它看到和听到的内容，更不会在之后主动回看。要把助手从「回答问题的接口」变成「一直在场的系统」，缺的正是这种连续性和记忆。

发布

2024 年 5 月 14 日的 Google I/O 上，Demis Hassabis 展示了 Project Astra，Google DeepMind 把它称为对未来 AI 助手的设想^[1]。它被作为方向而非成品提出，并与同日公布的其他模型进展一起出现^[1]。

怎么工作

按 Google 的说法，Astra 把视频帧和语音持续编码成一条事件时间线，并缓存这条时间线，以便快速调取^[1]。关键在于「持续」：系统不是等到提问时才去看一张静止画面，而是不断把镜头看到的和对话里说到的转成一份可以回看的记录。缓存解决的是回看的速度问题——已经编码好的时间线留在手边，不必每次重新构建，因此「刚才那个东西是什么」这类问题才有条件被快速回答。

同日发布的模型

同场 I/O 还发布了与助手直接相关的模型进展。Google 宣布 Gemini 1.5 Flash，称它是 API 中速度最快的 Gemini 模型^[1]。Flash 由 1.5 Pro 通过蒸馏（distillation）训练而成：让较小的模型学习复现较大模型的行为，而不是从零开始训练^[1]。Google 同时宣布为 Gemini 1.5 Pro 提供 200 万 token 的上下文窗口（context window），以候补名单方式向开发者和 Google Cloud 客户开放^[1]。上下文窗口指模型一次能容纳多少输入，窗口越长，系统能同时「放在眼前」的材料就越多。对需要长期记住上下文的助手来说，这一项与模型速度同样重要。

12 月的更新

2024 年 12 月，构建在 Gemini 2.0 之上的更新版 Astra 增加了混合语言对话、调用 Google 搜索、Lens 和地图的能力，以及最长 10 分钟的会话内记忆^[2]。Google 还表示，一小批测试者将很快在原型眼镜上试用 Astra^[2]。

意义

从描述看，Astra 有两点值得注意。第一，助手的价值被放在连续性上，而不是单次回答上：真正起作用的是那条不断累积的「看到过、听到过」的时间线，以及随时把它调出来的能力^[1]。这与每问一次就重新开始的聊天框是不同的设计目标，也是后来衡量助手类工作的一把尺子。

第二，细节本身标出了当时的位置。会话内记忆最长 10 分钟^[2]，眼镜还是交到小批测试者手里的原型^[2]。发布时给出的是一幅关于助手将来可能是什么样子的图景，而不是一件已经在手边的东西。

把它和同一天的 Gemini 1.5 发布放在一起看——一个更快、经蒸馏得到的小模型^[1]，一个更大的上下文窗口^[1]——展示出的是一类一直在看、一直在听、并且留着记录可以回看的助手。这类系统在演示之外是否稳定可靠，是另一个问题，而那次发布并没有回答它。