DeepMind 发布 2800 亿参数语言模型 Gopher

背景

大型语言模型（large language model）用大量文本训练，用来回答问题、总结和生成文字。模型规模常以参数（parameter）数量衡量，参数是神经网络内部可调整的数值。参数更多，模型表示模式的能力通常更强，但参数数量本身不决定质量，训练数据和评测方式同样重要。DeepMind 在这次研究中比较的模型从 4400 万参数到 2800 亿参数 ^[1]。这个跨度足以让人追问：不只是更大的模型是否得分更高，还包括哪些能力从规模中受益更多。最小的模型和最大的模型被放进同一项研究，比较的是一种趋势，而不是单个模型。因此，看到 2800 亿这样的数字时，需要同时看它和谁比、在哪些任务上比。

发生了什么

2021 年 12 月 8 日，DeepMind 发表了三篇关于语言模型的论文 ^[1]。第一篇给出 Gopher，一个 2800 亿参数的 Transformer ^[1]。Transformer 是一种神经网络架构，核心是注意力（attention），让模型衡量输入各部分之间的相对重要程度。第二篇调查大型语言模型的伦理与社会风险，列出 21 项风险，分属六个领域 ^[1]。第三篇介绍 RETRO，它从大型文本数据库中检索段落 ^[1]。三篇论文因此把能力、风险和检索放在同一次发布里。三篇论文的并列也说明，语言模型研究不只关心模型本身，还关心它会被如何使用。

关键细节

Gopher 论文于 2021 年 12 月 8 日首次提交到 arXiv ^[2]。论文指出，规模对阅读理解（reading comprehension）和事实核查（fact-checking）的帮助大于对逻辑推理的帮助 ^[1]；逻辑与数学推理从规模中获得的收益较少 ^[2]。阅读理解可以理解为根据一段文字回答问题，事实核查可以理解为拿证据核对一个说法。这类任务往往依赖对文本模式的捕捉和匹配，模型变大时更容易受益。模型回答关于一段文字的问题时，需要找到相关句子并将其与问题联系起来；事实核查还要在说法和证据之间做比较。逻辑和数学推理则要求多步推导，论文强调的是规模带来的收益较少，而不是规模毫无作用。这个区别重要，因为一个模型可能表达流畅、知识面广，却在多步推理上较弱。阅读理解和事实核查更接近从文本中找依据，逻辑和数学推理更接近按规则一步步变换；这一对比提示规模的作用并不均匀。

影响

三篇论文同日出现，把能力进展和风险讨论放在一起 ^[1]。从 4400 万到 2800 亿参数的比较，为“规模改变了什么”提供了参照 ^[1]。RETRO 的检索思路说明，模型不必只依赖参数中存储的信息，还可以从外部文本库取回段落 ^[1]。伦理调查列出的 21 项风险、六个领域，则把大型语言模型的社会影响拆成可逐项讨论的清单 ^[1]。这种分类让风险更容易比较和排序，即使具体例子各不相同。在 2021 年 12 月 8 日这个时间点上，Gopher 的规模、RETRO 的检索和风险清单分别代表三种关注点 ^[1]。对读者来说，这个事件的意义不在于某个单一分数，而在于它同时展示了三条路线：扩大参数、评估风险、引入检索。三条路线并不互斥，而是从不同方向回答同一个问题：语言模型要怎样变得更有用，同时更可检查。