Gopher

是什么

Gopher 是 DeepMind 的大语言模型，被描述为一个 2800 亿参数的 Transformer（一种神经网络结构），于 2021 年 12 月 8 日公布。^[1] 参数是网络在训练中不断调整的那些数值；参数量的多少决定了训练和运行模型需要多少算力与显存，所以人们常用它来代指模型的规模。

一个模型，也是一排模型

DeepMind 并没有只训练 Gopher 一个模型，而是训练了一系列从 4400 万参数到 2800 亿参数的模型，用来研究规模带来的影响。^[1] 论文把研究范围描述为从数千万参数一直到 2800 亿参数的 Gopher。^[2]

这排模型本身就是方法。当一组模型共用同样的结构、数据流程和评测方式时，它们之间分数的差别才更可能归因于大小，而不是结构或训练数据的改动。单个大模型只能说明这个尺寸下能做到什么，一排模型才能说明「规模」本身在起什么作用。

规模确实帮上忙的地方

规模带来的提升，最明显地体现在阅读理解、事实核查和识别有毒语言这几类任务上。^[1] 这几类任务都奖励那些读过大量文本、并且能从中找到对应片段的模型。DeepMind 还报告说，在 MMLU 这个考察多学科知识的基准上，Gopher 向人类专家水平靠近了一步。^[1]

规模没能解决的地方

逻辑推理和常识类任务并没有因为规模扩大而显著改善。^[1] 论文也指出，逻辑推理和数学推理从规模中获得的收益更少。^[2] 两条结论合起来说的并不是「越大越好」：增加参数让模型更擅长依赖知识储备和文本表面规律的任务，却没有让它更可靠地一步步推导问题，也没有让它更懂日常情境。

同批发布的两项工作

Gopher 公布时还伴随两项工作。其一是把语言模型的风险分成六大主题、共 21 项风险的研究。^[1] 它没有把危害当成一种笼统的担忧，而是拆成有名字的类别，让具体的风险可以分别被测量和讨论。

另一项工作提出了 RETRO（Retrieval-Enhanced Transformer，检索增强 Transformer），用大约少一个数量级的参数达到了与普通 Transformer 相当的效果。^[1] 检索增强的做法是把大量文本放在模型参数之外，在处理输入时去查相关的段落，于是一部分能力来自外部的文本库，而不只来自参数量。

论文与它提出的问题

技术论文于 2021 年 12 月 8 日提交到 arXiv，最后一次修订是在 2022 年 1 月 21 日。^[2]

把三份成果放在一起看，它们各自问了一个不同的问题。Gopher 本身问的是：把语言模型做得非常大，会发生什么。风险研究问的是：这样的模型可能出什么问题，这些问题该怎么分类。RETRO 问的是：能不能不付出全部的参数代价，就拿到接近的结果。这三个问题在此后的语言模型研究中反复出现；而「规模对记忆和阅读的帮助大于对推理的帮助」这一发现，也成了人们谈到大模型时最常附带的一条限定。