EleutherAI 发布 Pythia 模型套件

背景

大多数大语言模型是以「成品」的形式公开的：一组权重，加上一份说明它能做什么的描述。缺的通常是中间过程——模型在训练途中经过的那些状态。训练成本高昂，训练数据和投喂顺序往往不公开，中途的模型快照一般会被丢掉。这就让一个很基本的问题难以回答：当模型学会某个知识或某种行为时，原因究竟是它的规模、它的数据，还是它看到这些数据的顺序？

发布了什么

2023 年 4 月 3 日，EleutherAI 把 Pythia 的论文提交到 arXiv。^[1] Pythia 是一套共 16 个模型，参数规模从 7000 万到 120 亿，全部在公开数据上、按相同的顺序训练。^[1] 数据相同、顺序也相同，意味着模型之间的比较不会被「某个模型读了不同的文本，或者同样的文本但顺序不同」这类因素干扰。每个模型都公开了 154 个检查点（checkpoint）。^[1] 检查点是训练过程中某一时刻保存下来的参数副本——参数就是模型学到的那些数字。每个模型公开 154 个，外部研究者就能沿着训练过程在很多个时间点观察同一个模型，而不只是看到最终版本。

这套模型用来做什么

这套套件的目标是研究知识和行为如何随训练过程、以及随规模变化而发展。^[1] 这是两条不同的轴。训练这条轴由检查点覆盖：同一个模型可以在训练早期和晚期分别查看，看某种能力是何时出现的。规模这条轴由模型尺寸的跨度覆盖：训练方式完全相同、参数量不同的模型可以相互比较，看单纯改变规模会带来什么变化。因为设置是受控的，两次训练之间的差别可以归因于被改变的那个变量，而不是数据里某些偶然的不同。

结果

论文报告了关于记忆化（memorization）的新结果，以及词频如何影响少样本（few-shot）表现。^[2] 记忆化指的是模型逐字复现训练数据里的文本，这既关系到模型可能吐出多少私人或受版权保护的内容，也关系到判断一个模型是真的学到了某种规律，还是只把某个例子背了下来。词频就是某个词或短语在训练数据中出现的频率；少样本表现指的是当提示里只给几个示例、而不是给出完整指令时，模型能做到什么程度。论文还用这套受控设置研究了如何减少性别偏见。^[2] 论文的第一作者是 Stella Biderman。^[1]

为什么重要

把数据和数据顺序固定下来，好处是结论可以归因：如果两个模型表现不同，差别来自被改变的那个因素，而不是来自它们碰巧读了什么。又因为模型本身以及每个模型 154 个检查点都是公开的，其他研究者可以重跑同样的分析、核对论文报告的结果，或者用同一批训练过程提出新问题，而不必自己花钱训练一个模型。从这个意义上说，Pythia 更像一份共享的实验记录，而不是一件产品：它最主要的贡献，是让人能看见训练过程内部，而不只是看见终点。