《Common Pile v0.1：8TB 公共领域与开放许可文本数据集》

预训练一个大语言模型，需要的文本量远远超过模型本身，而这些文本通常是靠抓取网页汇集起来的，其中相当一部分没有明确授权。2025 年 6 月 5 日提交到 arXiv 的《Common Pile v0.1》试图绕开这个问题：整个数据集只使用开放许可的文本，并公开发布供他人使用^[1]。

数据集里有什么

Common Pile v0.1 是一个 8TB 的开放许可文本集合，用途是大语言模型的预训练^[1]。它由 30 个来源的内容构成，涵盖研究论文、代码、书籍、百科全书、教育材料和音频转录文本^[1]。

这些类别不是随手凑出来的。预训练语料要同时让模型接触多种文本：正式论述、技术符号、工具书式的定义、对话。模型从看到的东西里学统计规律，语料如果授权干净但门类单一，训练出来的模型就会在少数几件事上表现好、其余方面很差。从 30 个来源、跨越这几大类取材料，是作者对这一问题的回应。

怎么验证数据够用

一个预训练数据集要站得住脚，得有人用它训出能用的模型。作者的做法是在 Common Pile 文本上训练两个 70 亿参数的语言模型：Comma v0.1-1T 和 Comma v0.1-2T，分别使用 1 万亿和 2 万亿个 token^[1]。两个模型都达到了与同等计算预算下、用未授权文本训练的模型相当的性能，例如 Llama 1 和 Llama 2 7B^[1]。

这个对比正是论文论证的核心。发布一个语料，只说明文本存在、许可清楚，并不说明它足以训出一个有用的模型。把用这批数据训出来的 Comma 模型和在常规未授权数据上训练的同规模模型放在一起比较，才把数据集从一个说法变成一件可以检验的事。

一并发布的东西

除了数据集本身，作者还公开了创建数据集所用的代码，以及 Comma v0.1 模型的训练配比和检查点^[1]。训练配比之所以重要，是因为由 30 个来源汇成的语料在训练时仍需按某种比例抽样；公开配比让这套流程可以复现，而不是把比例留作未公开的细节。检查点则让他人可以直接评测训出来的模型，不必从头再训一遍。

论文共有 26 位作者。Nikhil Kandpal、Brian Lester、Colin Raffel、Sebastian Majstorovic 和 Stella Biderman 之外，还有 21 位共同作者^[1]。

为什么重要

围绕训练数据的公共讨论，大多集中在抓取来的文本能不能用，而不是在不用它的情况下训出来的模型会是什么样。Common Pile 直接回答后一个问题：它提供了一套规模可观的许可文本，并演示了在同等计算预算下，用这批数据训练的模型能达到用未授权文本训练的模型的水平^[1]。对想训练模型、又不能或不愿依赖抓取数据的人来说，这是一个起点，而不是一句承诺。

公开的代码、配比和检查点也让结论可查。数据集类论文的薄弱环节往往在可复现性：语料公布了，但过滤时的取舍、抽样的权重和最终训出的模型都无从触及。这里重建流程和重新评测模型所需的部件与数据一起发布^[1]。

论文报告的验证覆盖的是 70 亿参数、使用 1 万亿和 2 万亿 token 的模型，比较对象是同等计算预算下用未授权文本训练的模型^[1]。这类语料在更大规模上能支撑什么、随着算力增加性能差距是收窄还是拉大，则留给已公开的模型和数据去继续回答。