谷歌在 I/O 发布 PaLM 2

背景

大语言模型（large language model）是在大量文本上训练出来的系统，能够续写段落、回答问题、翻译，或者写代码。这类模型的训练成本很高，做出模型的公司通常不会让它只停留在一个应用里，而是把它变成一个平台——公司内部的其他产品和外部的开发者都能调用它。在开发者大会之前，谷歌从3月起就让一小批开发者试用 PaLM API^[1]。这次试用为更大范围的发布做了铺垫。

发布内容

2023年5月10日，谷歌在 I/O 大会上发布 PaLM 2^[1]。它不是一个模型，而是一组模型，按规模分为 Gecko、Otter、Bison 和 Unicorn 四种^[1]。这样的模型家族让开发者可以按需选择：对速度和成本敏感的任务用较小的模型，更难的任务用更大的模型，而几种规模共享同一套基本方法。

谷歌称 PaLM 2 提升了多语言、推理和编程能力^[1]，并表示它在逻辑、常识推理和数学方面表现出更强的能力^[1]。这几点决定了语言模型能否用在闲聊之外：能不能处理英语以外的语言；能不能一步步把问题推下去，而不是给出一个看起来很流畅的猜测；能不能写代码、也能检查代码。

产品与平台

谷歌称 PaLM 2 驱动了 25 款以上的新产品和新功能，其中包括 Bard^[1]。这个数字是整场发布中最贴近普通用户的部分：这类模型通常不是自己走到人前，而是通过建立在它之上的产品被人使用。

面向开发者，谷歌表示客户可以在 Vertex AI 中以企业级的隐私、安全和治理能力使用 PaLM 2^[1]。这些条件与模型本身同样重要。想基于语言模型做东西的机构需要知道数据去了哪里、谁能看到、服务方作出什么承诺。把模型放进一个带有这些条件的托管平台里提供，是研究成果变成企业可以投入生产的东西的一条路径。

专用版本

发布中提到了两个专用版本。Med-PaLM 2 由谷歌的健康研究团队训练，加入了医学知识^[1]；Sec-PaLM 是 PaLM 2 的专用版本，针对安全用例训练^[1]。模式是一样的：以一个通用模型为起点，加入某个领域的材料，再针对这个领域里人们真正会问的问题做调整。医学和安全都属于这样的领域——流畅的一般性回答不够用，术语和出错的方式都很专门。

已经在训练的下一代

谷歌同时表示，它的下一代模型 Gemini 仍在训练中^[1]。于是 PaLM 2 被摆在「现在可用」的位置上，而旁边指向一个尚未完成的继任者。这也提醒人们，那段时间里的发布会往往在下一代已经在建的时候召开。

意义

这场 I/O 发布比较完整地呈现了当时大语言模型的一种发布方式：不是单个系统，而是几种规模的一组模型；通过带有企业条款的开发者平台提供；被打包进大量面向消费者和办公场景的产品；并针对医学、安全这样的领域延伸出专用版本^[1]。PaLM 2 在这个图景里的位置，就是谷歌在 2023 年 5 月 10 日放到自家产品和开发者入口中心的那个模型，而 Gemini 被点名为接下来要来的东西^[1]。