训练计算最优的大语言模型（Chinchilla）

要解决的问题

训练一个语言模型要花算力，而一笔固定的算力预算可以花在两个地方：把模型做大，即增加参数量；或者把训练数据变多，即增加 token 数。当时的主流做法明显偏向第一种：模型越做越大，喂进去的文本量却相对有限。这篇论文要回答的问题表述起来很简单——给定一笔算力，这两者该怎么分？

怎么做

Jordan Hoffmann 与 DeepMind 的同事没有只训练一个模型，而是训练了 400 多个语言模型，参数量从 7000 万到 160 亿以上，训练 token 数从 50 亿到 5000 亿 ^[1]。论文于 2022 年 3 月 29 日提交到 arXiv，并在 NeurIPS 2022 上发表 ^[1]。由于规模和喂养数据量在几百次实验里同时变化，作者可以把使用相同算力的不同配置放在一起比较，看哪一种把损失降得最低——这就是他们所说的「计算最优」（compute-optimal）训练。这里有两个词需要交代：参数是网络内部可学习的权重；token 是文本被切分后的片段，大致相当于一个词或词的一部分，是模型在训练时学习预测的对象。

结论

结论是一条缩放规则：要做到计算最优，模型规模和训练 token 数应当按相同比例增加 ^[1]。预算翻倍，模型和数据也应当大致各翻一倍，而不是只把模型做大。这条规则带出一个不太舒服的推论：当时大多数大模型在数据上是训练不足的 ^[1]，参数很多，见过的文本却相对少。

论文把这个差距算成了具体数字。以训练 2800 亿参数的 Gopher 所用的算力预算为例，作者估计，对这个预算而言最优的模型应当小 4 倍，同时多用 4 倍的 token 来训练 ^[1]。

Chinchilla

为了验证而不只是拟合这条规则，作者训练了 Chinchilla：700 亿参数、1.4 万亿 token，所用算力与 2800 亿参数的 Gopher 相同 ^[1]。Chinchilla 在大量任务上胜过了 Gopher、GPT-3 以及其他更大的模型 ^[1]。胜出的这个模型大约只有对照对象四分之一大小，但拿到的文本要多得多。

为什么重要

这个结果把实验室的注意力引向「更小的模型 + 多得多的数据」这一方向，这样的模型在运行时也更便宜 ^[2]。它的影响出现在后来的工作里：Meta 的 LLaMA 论文（2023）引用了它的结论——在给定算力预算下，最佳性能来自用更多数据训练的更小模型——并表示更偏好推理速度最快的模型 ^[2]。

范围

论文的扫描覆盖了 7000 万到 160 亿以上参数的模型，用来验证的模型则是 700 亿参数 ^[1]。这条规则针对的只是一个决定：训练算力在模型规模与数据量之间如何分配。但这个决定决定了给定预算究竟能换来什么。