Pythia

是什么

Pythia 是 EleutherAI 发布的一套开源语言模型，共 16 个。它覆盖 8 个参数规模——7000 万、1.6 亿、4.1 亿、10 亿、14 亿、28 亿、69 亿和 120 亿——每个规模训练两次，一次用 The Pile，一次用去重后的 The Pile^[1][2]。其中最大的模型总参数为 118.5 亿^[2]。全部模型以 Apache 2.0 许可证发布，托管在 Hugging Face Hub 上^[2]。

公开发布的并不是最初那一版。这些模型在 2023 年 1 月改过名并重新训练，比如现在叫 12B 的模型，之前叫 13B^[2]。

为什么做这套模型

这套模型要回答的是光看最终权重回答不了的问题：大语言模型在训练过程中是怎么发展、怎么演变的^[1]。多数模型发布只给出训练完成的成品，研究者想知道某项能力是什么时候出现的、某个行为随训练怎么变化，却没有东西可看。Pythia 就是围绕这个空缺设计的。相关论文于 2023 年 4 月 3 日首次发布在 arXiv 上，第一作者是 Stella Biderman^[1]。

同样的数据，同样的顺序

决定整套设计的是一个「统一」的原则。所有模型看到的都是同一份公开数据，而且顺序完全一致：约 3000 亿个 token（共 299,892,736,000 个），批大小为 200 万 token，训练 143,000 步^[1][2]。因为数据和数据顺序都被固定住，两个模型之间的差异就可以归因到规模，或者归因到原始 The Pile 与去重版 The Pile 的差别，而不是归因于训练数据配比不同或打乱方式不同。准备两个版本的 Pile 也是同一个道理：这样可以单独考察「去重」这一件事改变了什么。

检查点是主要工具

每个模型都公开了 154 个检查点（checkpoint）。其中包括第 0 步、10 个在训练早期按对数间隔取出的检查点，以及之后每 1000 步一个^[1][2]。对数间隔的意思是，早期的检查点密集地挤在开头——那时模型变化最快——越往后越稀疏。有了每千步一个的检查点，研究者就可以把某个测量，比如准确率、探针（probe）或记忆测试，沿着整条训练轨迹重复做，而不只是在终点做一次。

为了配合这一点，作者还发布了工具，可以下载并重建每个模型当时使用的训练数据加载器（dataloader）^[3]。检查点说明模型在某个时刻是什么样子，数据加载器说明它在那个时刻读的是什么。两者合起来，一次训练就不只是终点能被检查，而是可以被回放和核对。

论文研究了什么

论文给出了三个案例研究：记忆（memorization）、词频对少样本（few-shot）性能的影响，以及降低性别偏见^[3]。这三个问题问的都是训练过程中的动态，而不是某个最终分数，这也是这套模型要做成这样的原因。比如记忆，可以逐步跟踪模型是从什么时候开始复现训练文本的；词频问题关心的是模型的少样本表现有多大程度取决于某个词在训练中出现了多少次；偏见研究则看训练期间的某种干预是否减少了有偏见的行为。

在发展中的位置

Pythia 的贡献与其说是一种新架构，不如说是一套供人研究训练的公共基础设施。固定的数据顺序、八个规模上互相对齐的训练、密集的检查点和开放的权重放在一起，使得「行为如何在训练中浮现」这类问题可以做受控实验，也让别人可以沿着同样的步、同样的数据复现你的结果。