LaMDA

是什么

LaMDA 全称「对话应用语言模型」（Language Model for Dialogue Applications），是一个面向对话的语言模型。Google 在 2021 年 5 月 18 日的 Google I/O 主题演讲中公布了它^[1]。和其他大型语言模型一样，它的基本任务是预测接下来应该出现什么文字；之所以叫对话模型，是因为喂给它的文字是一来一往的对话，它要产出的是下一句回复。

由来

LaMDA 脱胎于 Meena——一个由 Google Brain 团队开发的聊天机器人，后来被改名为 LaMDA。Daniel De Freitas 和 Noam Shazeer 是它的主要研究者^[1]。从「一个聊天机器人」到「一个可供对话应用搭建的语言模型」，这次改名本身就说明了重心的转移。

结构与训练

技术细节写在论文《LaMDA: Language Models for Dialog Applications》里，该文于 2022 年 1 月 20 日发布在 arXiv 上。论文描述了基于 Transformer 的模型，参数量最大达到 1370 亿，预训练语料是 1.56 万亿词的公开对话数据和网页文本^[2]。

这句话里有三个词值得拆开说。Transformer 是一种神经网络结构，它把文本当作一个序列来读，用注意力机制衡量输入中每个位置与其他位置的关联强弱。参数是网络在学习过程中不断调整的那些数字，1370 亿这个规模在当时也属于很大的模型。预训练指的是模型先在非常广泛的文本上通过反复预测下一个词来学习，之后才谈得上针对具体任务做调整。由于训练语料里既有公开对话也有网页文本，模型同时见到了书面长文和日常交谈的样子。

质量、安全与事实依据

论文没有止步于「话说得顺」。它衡量三件事：质量、安全性，以及事实依据（factual groundedness）^[2]。安全性用一套基于人类价值集合的指标来打分，也就是说，模型的回答不只要看是否合理，还要看是否可接受。事实依据针对的是另一个问题：语言模型可以流畅地说出一句根本不对的话。论文用「有据性」（groundedness）指标来量化事实性，使模型能够生成以已知来源为依据的回答^[2]。

做到这一点的一种方式，是让它向外求助。这个模型可以查询信息检索系统、语言翻译器和计算器^[2]。换句话说，它不必只依赖训练时记住的东西，可以调用工具，再把工具返回的结果组织成回答。

论文还从自己的实验里得出一条带有警示意味的结论：单纯扩大模型规模能提升质量，但在安全性和事实依据上的改善较小^[2]。模型变大，变「能说」的速度快于变「稳妥、准确」的速度。也正因如此，这份工作把训练规模和后置的防护措施当作两个分开的问题来处理。

用分类器筛掉回答

论文描述的一种防护发生在单条回答的层面：模型先生成若干候选回复，再由一个 LaMDA 分类器过滤，该分类器是在少量由众包标注者标注的数据上微调（fine-tune）得到的，论文把它作为提升安全性的一种办法^[2]。分类器是第二个模型，学的是人类对「哪些回答可以接受」的判断；标注数据不需要很多，因为它只负责排序和剔除，不负责写话。得分差的回复在用户看到之前就被丢弃了。

LaMDA 2 与公众关注

LaMDA 2 于 2022 年 5 月 11 日公布，同时推出的还有 AI Test Kitchen 应用^[1]，让外部的人可以自己试用这个模型、亲眼看看它的表现。

公众关注随后从一个意想不到的方向涌来。2022 年 6 月，Google 工程师 Blake Lemoine 公开声称 LaMDA 具有意识；Google 于 2022 年 7 月 22 日将他解雇^[1]。这件事后来常被当作例子，用来说明流畅的对话输出多么容易被误认成某种内心活动；而论文讨论的是质量、安全性和事实依据，并不是意识。

在发展中的位置

LaMDA 的一个轻量版本被 Google 称为所需算力显著更少，它在 Bard 于 2023 年 2 月 6 日发布时为其提供支持^[3]。这是这个模型系列与后来产品之间最清楚的一条线：论文里描述的对话研究，成了公开发布的助手的起点。