缩放定律

它是什么

缩放定律（scaling laws）是通过测量得到的经验规律，而不是从理论推导出来的公式。对语言模型而言，规律是：测试损失（test loss，衡量模型预测未见文本的能力，数值越低越好）会随着三个量的增长平稳下降，并呈幂律关系。这三个量分别是参数量（parameters）、以词元计的训练数据量，以及训练算力（compute）。^[1]

怎么理解

把损失和模型规模画在对数坐标上，幂律关系通常会呈现为一条近似的直线。这意味着，在小模型上测得的趋势，可以用来推测大模型大致的表现。这正是「用小实验预测大训练结果」的思路。^[1]

这里的「定律」一词是宽松的用法。它是在研究者所测量的范围内反复出现的规律，适合用来做规划，但并不是从第一性原理推导出的物理定律，也不保证在任何规模下都成立。

它从哪里来

OpenAI 的 Kaplan 等人在 2020 年 1 月提交的论文中，测量了跨度超过七个数量级的各种趋势。他们的结论是：在算力预算固定的情况下，训练非常大的模型更划算。^[1]

2022 年 3 月，DeepMind 的 Hoffmann 等人发表了 Chinchilla 论文，修正了这一配方。论文认为，模型规模与训练词元数应当大致等比例增长。^[2] 为了验证这一点，他们训练了一个 700 亿参数的模型 Chinchilla，使用 1.4 万亿个词元。在与 2800 亿参数的 Gopher 算力相同的前提下，Chinchilla 的表现超过了 Gopher。^[2]

参数量、数据量和算力三者彼此关联：模型变大，就需要更多数据才能训练充分，而训练两者都需要更多算力。缩放定律描述的，正是三者同时增长时损失如何变化，因此它把规模问题当作一个整体来看待。

为什么重要

缩放定律让构建模型更像一门工程学科。实验室可以用小规模实验预测大型训练的结果，并提前规划算力预算。^[1]

这些规律也有助于解释，AI 开发者为何不断投入更大规模的芯片集群。对算力的投入一直能换来能力的提升，而缩放定律把这种回报量化了。^[3]

局限

缩放定律描述的是训练损失，也就是模型在训练中优化的那个指标。它并不能可靠地预测模型在具体任务上的表现，这类表现可能突然、出乎意料地提升。^[3] 此外，这类规律是在所测量的范围内总结出来的，把它推到远超测量范围的地方，结论就会越来越不确定。随着训练方法的变化，模型规模与数据量之间的最佳平衡也可能改变。