《Dolma：面向语言模型预训练研究的三万亿词元开放语料库》

是什么

Dolma 是一个开放的英文语料库，规模约三万亿词元（token），内容由网页内容、科学论文、代码、公共领域书籍、社交媒体和百科类材料混合而成^[1]。介绍它的论文由 Luca Soldaini、Rodney Kinney、Akshita Bhagia 以及另外 34 位作者共同完成，作者大多隶属艾伦人工智能研究所（Allen Institute for AI），论文于 2024 年 1 月 31 日提交到 arXiv^[1]。

词元是语言模型真正读取的单位：文本先被切成一个个片段，往往不是完整的词，而是词的一部分，再映射成数字送进模型。所以说「三万亿词元」，说的是规模，也就是一个模型在开始反复看到同一批材料之前，能拿来预训练的文字总量有多大。

数据从哪里来

Dolma 由六类来源拼成：Common Crawl 的网页文本、Semantic Scholar 的论文、GitHub 上的代码、公共领域书籍、Reddit 帖子以及维基百科^[2]。它们提供的东西并不相同：网页带来广度与日常语言，论文和百科文本带来说明性的书面语，代码带来结构化的形式模式，书籍带来长篇连贯的叙述，社交媒体带来对话式的语体。把它们混在一起，是为了让语料不只剩下一种腔调。

构建过程的重心是筛除，而不是收集。团队把大约 200 TB 的原始文本整理成 11 TB 的数据集^[2]。词元数量用 LLaMA 分词器统计^[2]，也就是说，「三万亿」这个数字绑定在某一种把文本切成词元的具体方式上，换一种分词方式，数字就会变。

论文记录了什么

这篇论文既是数据集的说明书，也是流程档案。作者对 Dolma 做了详尽记录，包括它的设计原则、构建细节以及内容概览^[1]。更重要的是，他们给出了针对 Dolma 中间状态的分析与实验结果，把团队在数据整理（data curation）实践中一路上学到的东西公开出来，而不是只留下最终成品^[1]。换句话说，读者能看到语料在流水线中途的样子，而不只是最后打包好的那一版，从而判断每一道处理对文本做了什么、又可能带来什么后果。

与语料同时开放的还有团队的数据整理工具包，目的是让这项工作可以被复现，也方便别人用它继续做大规模数据整理方向的研究^[1]。

为什么重要

想研究「预训练数据如何影响模型」的人，常常卡在同一件事上：语料本身看不到——文本存在，但里面有什么、经过哪些筛选、由什么代码生产出来，外部研究者无从查证。Dolma 试图拆掉这道障碍，把语料连同它的生产记录和生产工具一起交出去^[1]。

由于记录一直细到中间阶段，其他研究者可以追问：哪些过滤和清洗的选择以何种方式改变了数据，其中哪些做法值得重复。这样发布的语料不只是拿来训练的材料，它同时也是一份完整的样例，展示在这个规模上准备文本究竟要做哪些决定。