RedPajama：LLaMA 训练数据集的开源复现

RedPajama 是一个以打造领先开源模型为目标的项目，它的起点不是模型结构，而是数据：项目的第一步是复现 LLaMA 的训练数据集，这是一个超过 1.2 万亿 token 的语料库。^[1] 在其数据集卡片中，成果被描述为对 LLaMA 数据集的「洁净室」（clean-room）、完全开源的实现。^[3] 所谓洁净室，指不直接使用原始产物，而是依据公开可得的材料独立重建。

为什么从数据入手

大语言模型通过预测文本进行学习，它学到的一切都来自训练所用的文本。文本以词元（token）计量，即模型输入被切分成的片段，常常是词的一部分。训练之前，需要收集数以万亿计的 token，做清洗，并按固定比例混合。混合比例很关键：只由网页组成的语料，和同时含有源代码、科学论文与百科条目的语料，教给模型的东西并不相同。

复现一个已知数据集，等于给所有人一个共同的参照点。两组人用同一份数据训练，结果的差异就可以归到模型上，而不是归到语料上。公开数据还让原始模型团队之外的研究者能够查看，这样的模型究竟是在什么文本上训练的。

语料的构成

1T 版本不是单次抓取，而是六个来源的混合，数据集卡片给出了各自的 token 数：CommonCrawl 8780 亿、C4 1750 亿、GitHub 590 亿、ArXiv 280 亿、Wikipedia 240 亿、StackExchange 200 亿，合计 1.2 万亿。^[3]

这个配比值得细看。两个来自网页的来源——CommonCrawl（公开的网页抓取存档）和 C4（经过清洗的网页语料）——提供了绝大部分 token。其余四个体量较小，但性质不同：GitHub 提供源代码，ArXiv 提供科学预印本，Wikipedia 提供百科条目，StackExchange 提供问答帖。它们各自带来一种普通网页难以大量提供的文本。

发布的内容

主体成果 RedPajama-Data-1T 由 2084 个 jsonl 文件组成，这种格式每行是一条独立的 JSON 记录，适合逐条读取的文本语料。^[3] 除完整语料外，还发布了一个 10 亿 token 的较小样本，是同一份数据更易处理的版本。^[3]

数据之外还有代码。GitHub 上的 RedPajama-Data 仓库用于准备训练大语言模型所需的大型数据集，创建于 2023 年 4 月 14 日。^[2]

它的位置

RedPajama 把训练语料当作一件公开的一等产物来对待。公开的 token 分布让预训练数据的构成可以被核对，而不必靠猜；配套的准备代码让整条流程可以被重新运行，而不只是被旁观。项目的目标不止于数据：复现语料只是打造领先开源模型这一更大工作的起点。^[1]