神经语言模型的缩放定律

在算力有限的前提下，「把模型做大」与「多用数据」之间如何取舍，是每个训练大模型的团队都必须面对的现实问题。论文试图把这种取舍从经验判断变成可以测量的关系。

要解决的问题

训练大语言模型成本高昂，研究者需要知道模型参数量、训练数据量和训练计算量这三个因素各自有多重要，才能在有限的算力下合理分配资源。如果没有规律可循，扩大规模就只能靠反复试验。论文要测量的，正是模型性能如何随这些因素增长而变化。^[1]

发现

论文测量的是语言模型的测试损失（test loss），损失越低，说明模型对文本的预测越准。损失与模型规模、数据集大小和训练计算量之间呈幂律关系（power law），即一个量按另一个量的固定次幂变化。在对数坐标下，这种关系近似为一条直线，因而可以外推预测。这些趋势跨越了超过七个数量级（orders of magnitude）。^[1]

论文还发现，网络的深浅与宽窄等架构细节，远不如总体规模重要。更大的模型也更具样本效率（sample efficiency），即达到同样的损失所需的训练词元（token）更少。^[1]

这些曲线的形状，使发现具有了实际价值。如果性能在对数坐标上呈现可预测的直线，团队就可以先用小模型做低成本的实验，拟合趋势，再估计更大规模的训练会得到什么，然后才决定是否投入大笔预算。这是幂律的一般性质，也是论文被当作规划工具而不只是描述性研究来阅读的原因。^[1]

建议

论文当时的建议是：在算力固定时，应当训练非常大的模型，并在训练远未收敛时就停止。^[1]

需要精确地看待论文没有声称的内容。它描述的是训练损失如何变化，而不是哪些具体能力会在哪个规模出现。损失降低通常意味着下一个词预测得更好，但这个数字本身并不能提前告诉人们模型能做什么。^[1]

为什么重要

这篇论文为各实验室建造大得多的模型提供了定量依据：DeepMind 的 Chinchilla 论文后来写道，正因如此，整个领域一直在训练越来越大的模型。^[2]GPT-3 在四个月后问世，其论文写明，Kaplan 和 McCandlish 运用缩放定律来指导模型与数据规模的决策。^[3]DeepMind 在 2022 年提出的 Chinchilla 研究，后来修正了模型规模与数据量之间的平衡。^[2]

作者共十人，包括 Jared Kaplan、Sam McCandlish、Tom Henighan、Tom B. Brown、Benjamin Chess、Rewon Child、Scott Gray、Alec Radford、Jeffrey Wu 和 Dario Amodei，来自 OpenAI 和约翰霍普金斯大学（Johns Hopkins University）。论文于 2020 年 1 月 23 日提交到 arXiv。^[1]