EleutherAI 发布 8TB 开放许可数据集 Common Pile v0.1

背景

大语言模型（large language model，LLM）通过阅读大量文本来学习。这些训练文本称为预训练数据，通常来自网页和其他来源，每一段内容的使用权利并不总是清楚。有研究者尝试用任何人都可以合法再利用的材料来构建训练集，Common Pile 就是这样的一次尝试。它是 2020 年发布的 The Pile 的后继者 ^[3]。

发生了什么

2025 年 6 月，EleutherAI 与合作者发布了 Common Pile v0.1。这是一个 8 TB 的文本集合，内容全部是公有领域或开放许可的文本，用于大语言模型的预训练 ^[1][2]。公有领域文本是版权已经失效的作品；开放许可文本则附有允许再利用的许可协议，例如知识共享（Creative Commons）许可。

这个集合取材于 30 个来源，包括研究论文、代码、书籍、百科全书和文字记录。其中代码占一半以上 ^[3]。

关键细节

集合只收入符合开放知识基金会（Open Knowledge Foundation）《开放定义》2.1 版的内容。该定义规定了什么才算开放，CC BY、CC0 和 MIT 等许可都符合要求 ^[3]。CC BY 允许他人再利用作品，但要求署名；CC0 则放弃了全部这类要求。

合作单位包括多伦多大学、Hugging Face 和艾伦人工智能研究所（Ai2）^[3]。

为了检验数据，作者用它训练了两个 7B 模型，分别命名为 Comma v0.1-1T 和 Comma v0.1-2T，训练量分别为 1 万亿和 2 万亿个词元（token）^[2]。词元是一小段文字，可能是一个词，也可能是词的一部分；词元数量反映模型在训练中读过多少文本。作者称，这两个模型的表现可与 Llama 1 和 Llama 2 的 7B 版本相比 ^[2]。这里的「可比」指成绩接近，并不是在所有测试中都更好。

影响

这个项目说明，可以从使用条款清楚的文本中组装出大规模训练集，因此其他研究者能够检查模型究竟学了什么 ^[3]。由于集合公开发布，他人可以查看、再利用和核对其内容。它也是从 2020 年的 The Pile 开始的一系列数据集中的一环 ^[3]。