谷歌在 I/O 2024 发布 Gemini 1.5 Flash

发生了什么

2024年5月14日，谷歌在 I/O 大会上发布了 Gemini 1.5 Flash，消息由德米斯·哈萨比斯（Demis Hassabis）在一篇文章中公布。^[1] 谷歌把它描述为比 Gemini 1.5 Pro 更轻量的模型，也是其 API 中提供的速度最快的 Gemini 模型。^[1]

从大模型里学来的小模型

这次发布有两个关键设计。一是蒸馏（distillation）：Flash 是从 Gemini 1.5 Pro 蒸馏而来的，也就是说，小模型学着去模仿大模型的行为，而不是另起炉灶单独设计的一套系统。^[1] 蒸馏的一般思路，是让一个规模更小、运行更便宜的模型去逼近大模型的输出，从而在速度与成本上占优；代价通常是学生模型容量有限，无法在每处细节上都与老师模型一致。

二是上下文窗口（context window），即模型一次能纳入考虑的文字长度。Flash 提供了 100 万 token 的上下文窗口。^[1] token 是模型读写文本的基本单位，大致相当于一个短词或词的一部分；窗口之外的内容无法影响模型的回答，所以窗口长度直接决定了模型一次能处理多长的材料。同一天，谷歌还以等候名单的方式开放了 1.5 Pro 的 200 万 token 上下文窗口，也就是说，更大的窗口是需要申请才能用上的选项，而不是默认配置。^[1]

同场的其他发布

Flash 并不是当天唯一的内容。谷歌预览了 Project Astra，并称这是它对 AI 助手未来形态的设想。^[1] 它还发布了 Gemma 2，称该模型将采用新的架构，以实现突破性的性能与效率，并会提供新的规模规格；同时宣布了 PaliGemma。^[1] 合起来看，这场发布覆盖了四类东西：API 里一个速度快的托管模型、大模型上更长的上下文选项、Gemma 名下的开放模型，以及一个助手形态的研究预览。^[1]

意义

把模型命名为 Flash 并与更大的同门模型一起发布，等于把取舍摆到明面上：用户要在更快更轻的模型和更大的模型之间做选择，而谷歌自己的描述也是通过与 1.5 Pro 对比来界定 Flash 的。^[1] 上下文长度则被当作另一条独立的进展线索，因为 200 万 token 的等候名单落在 Pro 上，而不是 Flash 上。^[1] 一场发布里同时出现助手预览和新的开放模型，也说明单次模型发布如今更像是产品线中的一环，而不是终点。^[1]