EleutherAI 发布训练数据集 The Pile

背景：语料决定了模型能做什么

语言模型的行为来自它在训练中读到的文本。语料规模很大但类型单一，模型就会在见过的那类文本上表现好，在其他文本上表现差。从开放网络上收集文本容易获得极大的数量，但各种文体混在一起、分布不均，其中一些写作类型相当稀薄。因此构建训练集不只是决定规模，也是在决定来源的配比。

发布了什么

2020年12月31日，EleutherAI 在 arXiv 上发布了数据集 The Pile 及其论文^[1]。数据集包含 825 GiB 英文文本^[1]，由 22 个较小的、高质量的数据集合并而成^[2]，并公开释出，供训练语言模型使用^[2]。论文的第一作者是 Leo Gao，另有 11 位合著者^[1]。

数据集的构成与分发

Pile 的 22 个子集并不都是同一类材料，这一点是有意为之：其中许多子集来自学术或专业来源，而不是来自开放网络^[3]。这让整个集合在普通文本之外，还包含了相当比例的论文、参考资料和专业写作。数据以 jsonlines 格式分发，并用 zstandard 压缩^[4]，这一组合让一个极大的语料既便于下载，也能在训练时按流读取。除数据之外，项目还定义了 Pile BPB，即每字节比特数（bits per byte），作为衡量模型跨领域文本建模能力的基准，而不是只在单一类型文本上打分^[4]。

论文发现了什么

论文检验了当时的模型直接面对这份集合时的表现。未经微调的 GPT-2 和 GPT-3 在 Pile 的许多部分上都表现吃力，学术写作是其中之一^[3]。也就是说，语料中那些最不像日常网络文本的部分，恰恰是通用模型表现最差的地方。在 Pile 上训练的模型则改变了这一局面：它们在 Pile 的所有部分上都显著优于 Raw CC 和 CC-100 这两个基线^[3]。

为什么重要

这个结果同时说明了两件事。第一，由许多经过挑选的来源汇编而成的语料，与一次性抓取来的文本是不同性质的东西；在它上面训练出来的模型是整体上发生了变化，而不只是在新增的那几类来源上变好^[3]。第二，多样的语料也带来了自己的衡量方式：跨多个领域的每字节比特数，可以给出一个关于跨领域建模能力的总体刻画，这是只在单一类型文本上评测所做不到的^[4]。由于数据和基准都是公开的^[2][4]，其他团队可以在同一份文本上训练并直接比较结果——这正是共享训练集在构建者之外也有价值的原因。