谷歌发布 5400 亿参数的 PaLM

背景

大语言模型的训练目标很简单：根据前面的文字预测接下来的内容。回答提问、翻译、写代码这些能力并不是逐项教出来的，而是从这一目标里长出来的。在这之前，这个领域的进展常常用参数规模来衡量——参数就是模型在训练中学会的那些数值，参数越多，模型在许多不同任务上的表现往往越好。悬而未决的问题是：这条路还能走多远，走到尽头会出现什么新能力。

发布

2022 年 4 月 4 日，Google Research 发布了 PaLM，全称 Pathways Language Model，参数规模为 5400 亿。^[1] 这个名字把团队想强调的两件事放在一起：模型的体量，以及用来训练它的系统。

怎么训练的

PaLM 在 6144 块 TPU v4 芯片上训练，这些芯片分布在两个 pod 中，使用的是 Pathways 系统。^[1] TPU 即张量处理单元（tensor processing unit），是为机器学习设计的加速芯片；pod 是由高速互连连接起来的一批芯片，可以当作一台大机器来用。Google Research 称，6144 块芯片的配置是当时用于训练的最大规模 TPU 系统。^[1] Pathways 则是负责把单个模型的训练协调到大量芯片上的软件层，让这个体量的模型不必被切分成彼此几乎不通气的碎片。

结果

最受关注的结果不在文本生成，而在推理。Google 强调，在配合思维链提示（chain-of-thought prompting）时，模型在多步推理上取得了突破性表现。^[1] 思维链提示的做法是：不只要求给出最终答案，而是在提示里示范若干带中间步骤的例题，让模型在给出结论之前先把自己的推理过程一步步写出来。把问题拆成几步，等于给了模型用文字「打草稿」的空间，而不是要求它一步跳到答案。

同样的效果也出现在 BIG-bench 上。BIG-bench 是一个规模很大、题型刻意分散的基准测试集合。在 5-shot 设置下——也就是在提示里给出 5 个示范例子——PaLM 的成绩超过了人类的平均水平。^[1] 这里的「人类平均」值得留意：比较对象不只是其他模型，还包括做同一批题的人。

还有一个规模不大但很说明问题的演示：模型能够解释它没有在网络上见过的笑话。^[1] 解释笑话为什么好笑不是检索能做到的事，它需要说出铺垫制造了什么预期、包袱怎么把预期打破，并用平实的语言讲清楚。

论文

技术论文《PaLM: Scaling Language Modeling with Pathways》于 2022 年 4 月 5 日首次提交到 arXiv，也就是发布公告的第二天。^[2] 论文记录了公告中那些说法背后的训练设置与评测。

意义

PaLM 值得记录的地方，是把规模与一种提示技术结合起来，并把结果放到带人类基线的基准上衡量。在一个覆盖面很广的任务集合上把自己的成绩与人类平均水平并列，再加上把推理过程一步步写出来的演示，支持了这样一种判断：大模型做的并不只是表层的模式匹配。6144 块芯片的配置也提供了一个具体的数据点，说明单次训练能调动多少硬件——而这正是每一个这个体量的模型背后的实际约束。