The Pile：用于语言建模的 800GB 多样化文本数据集

要解决的问题

大型语言模型（large language model）从海量文本中学习。到2020年，许多训练文本来自网络爬取，即自动抓取的网页副本。The Pile 的目标是为开放研究者提供一个规模大、来源多样的预训练语料库，超越网络爬取数据的局限。^[1]

论文标题为《The Pile：用于语言建模的 800GB 多样化文本数据集》，正文中语料库的规模被描述为 825 GiB 的英文文本。^[1][2]

怎样构建

The Pile 由22个较小的高质量数据集组成。其中一些是已经存在的，另一些是为本项目新建的，许多来自学术或专业来源。^[1][2]

论文于2020年12月31日提交至 arXiv。第一作者是 Leo Gao，另有11位合著者。^[1]

结果与用途

The Pile 成为了 EleutherAI 的 GPT-Neo、GPT-J、GPT-NeoX-20B 和 Pythia 模型的训练数据。^[3]

争议

The Pile 因其数据来源受到批评。其中的 Books3 子集在2023年8月，因一个反盗版团体的行动而下线。^[3]

2024年7月，Proof News 与 Wired 的一项调查发现，该数据集包含来自超过17万个 YouTube 视频的字幕，涉及超过4.8万个频道。^[3]

后续影响

2025年6月，EleutherAI 发布了 Common Pile v0.1，这是 The Pile 的8 TB 后续版本，只包含公有领域和公开授权的文本。^[4]Common Pile 被描述为只包含公有领域和公开授权的文本，这正是它与 The Pile 的主要区别。^[4]

对读者来说，The Pile 是一个值得研究的案例：一个数据集可以对开放研究非常重要，同时仍面临关于文本来源的严肃质疑。研究基于它训练的模型的人，应当仔细了解数据集的内容。