《大语言模型的涌现能力》

论文要问的问题

此前关于语言模型规模的研究通常得到同一个结论：把模型做大，效果会稳定、可预测地变好——在大量下游任务上，性能和样本效率都随规模提升^[1]。按这个图景，规划模型规模似乎有一条简单的规则：测一个小模型，把曲线外推，就能估出大得多的模型会做成什么样。

这篇论文把注意力转向一个不符合该图景的现象。作者称之为大语言模型的涌现能力（emergent abilities）。论文于 2022 年 6 月 15 日提交到 arXiv，编号 2206.07682^[1]。

什么算「涌现」

作者给了一个刻意收窄的定义：如果一种能力在小模型上不存在、在大模型上存在，它就是涌现的^[1]。这个定义的关键在于变化的是「有无」，而不是「多少」：沿着规模这条轴往前走到某一点，原本缺席的东西出现了。

这是一个阈值式的定义，值得说清它主张什么、不主张什么。它描述的是某种能力在何处被观察到，而不是说大模型内部有什么特殊机制。随规模突然出现的能力，仍然由和其他行为一样的机制产生；发生变化的是这种能力变得可以被测出来。

为什么曲线不好用

论文从定义直接推向预测问题。如果一种能力在小模型上不存在、在大模型上存在，那么它的出现就不能靠外推小模型的表现来预见^[1]。用一批都不具备该能力的模型拟合出的趋势线，没有可延伸的东西：被追踪的量一直是零，而穿过一堆零的曲线不会告诉你它什么时候不再是零。

这正是作者说它「不可预测」的意思。这并不是说规模无关紧要——规模恰恰是看起来起作用的那个变量——而是说，对于这类能力，把能力从一条平滑曲线上读出来的习惯做法会失效^[1]。

对规模化的含义

作者认为，这类涌现现象的存在意味着，继续扩大规模有可能进一步拓展语言模型的能力范围^[1]。如果随着模型变大，新能力已经反复进入视野，就没有明显理由假定这个过程已经停止。这是一个关于可能性的判断，而不是保证：它说的是能力空间是开放的，纯外推的视角看不到这一点。

发表与作者

论文于 2022 年发表在 Transactions on Machine Learning Research 上，arXiv 上的第二个版本日期为 2022 年 10 月 26 日^[1]。作者共 16 人：Jason Wei、Yi Tay、Rishi Bommasani、Colin Raffel、Barret Zoph、Sebastian Borgeaud、Dani Yogatama、Maarten Bosma、Denny Zhou、Donald Metzler、Ed H. Chi、Tatsunori Hashimoto、Oriol Vinyals、Percy Liang、Jeff Dean 和 William Fedus^[1]。

为什么重要

这篇论文的贡献主要是概念上的：它为一个研究者已经不断撞见的现象起了名字，并给出了精确到可以争论的定义^[1]。命名会改变人们读规模化结果的方式。小尺寸上的一条平线，不再被当作某种能力遥不可及的证据；两个模型尺寸之间的跳变，也从异常变成了关于涌现的一个数据点。这个定义同时为后来的工作设定了清晰的目标，因为任何声称的涌现能力都可以拿它来核对：之前没有，之后有^[1]。