《FineWeb 数据集：大规模网络文本的精炼》

问题：网页文本不等于训练数据

大语言模型的能力来自预训练时读过的文本，而公开可用的预训练文本很大一部分来自 Common Crawl 这类长期抓取网页的存档。原始抓取结果非常杂乱：有重复页面，有模板化的导航和广告，有垃圾内容，有机器生成的文本，还混着各种语言。要把这些原始网页变成能用的语料，必须做一长串决定——留哪些页面、怎么去重、怎么过滤。这些决定直接塑造模型学到什么，但在数据集发布时往往不会被详细说明。

FineWeb 是什么

《FineWeb 数据集：大规模网络文本的精炼》于 2024 年 6 月 25 日提交到 arXiv，作者是 Guilherme Penedo、Hynek Kydlíček、Loubna Ben allal、Anton Lozhkov、Margaret Mitchell、Colin Raffel、Leandro Von Werra 和 Thomas Wolf ^[1]。FineWeb 本身是一个 15 万亿 token 的数据集，由 96 个 Common Crawl 快照加工而成；用它预训练的语言模型，表现优于用其他公开预训练数据集训练的模型 ^[1]。token 是模型读写文本的基本单位，大致相当于一个词或词的一部分，15 万亿 token 是人工无论如何整理不出来的规模。

用 96 个快照而不是一次抓取，意味着这份语料汇集的是许多次、在不同时间点对网络的采集，覆盖的页面和站点范围因此更宽。

把每个设计选择都交代清楚

论文最核心的方法论主张是「写清楚」。它详细记录并逐项消融（ablation）了 FineWeb 用到的全部设计选择，其中对去重（deduplication）和过滤（filtering）策略做了深入考察 ^[1]。消融的意思是，把某个环节拿掉或换掉，重新训练一次，看结果变化多少，从而判断这个环节究竟起多大作用，而不是凭直觉假定它有用。这里的去重，是找出并删掉高度重复的页面，避免同一段文字被模型反复看到；过滤则是判断哪些页面根本不值得保留 ^[1]。

除了数据集，作者还公开了数据处理的代码库，以及消融实验中训练出来的全部模型 ^[1]。这让工作变得可核对：别的研究者可以重跑整条流程、检查这些消融模型，或者只借用其中某个环节。

FineWeb-Edu：再筛出教育类文本

第二个产物是 FineWeb-Edu，它是从 FineWeb 中过滤出来的、规模为 1.3 万亿 token 的教育类文本集合 ^[1]。这一步不只是删掉坏页面，而是主动保留被判定为有教育价值的页面，因此语料小得多，但更有针对性。

效果体现在评测上：用 FineWeb-Edu 预训练的大语言模型，在 MMLU、ARC 这类偏重知识与推理的基准上表现明显更好 ^[1]。这类基准考察的是能否调用记住的事实、能否做多步推理，所以它上面的提升说明教育性过滤筛出来的是真正承载知识的文本，而不只是读起来通顺的文本。

为什么重要

第一是规模：一份由公开网络抓取构建、达到 15 万亿 token 的语料，本身就可以作为预训练的基础 ^[1]。第二是方法：论文没有停留在「去重和过滤有好处」的判断上，而是逐项做消融，把数据处理的经验说法变成了关于哪些选择真正起作用的证据 ^[1]。第三是可复现：处理代码和消融模型与数据一起公开 ^[1]，别人可以查看、可以重跑，而不必只能相信结论。标题里的「精炼」（decanting）说的正是这个目标——从一大桶浑浊的网络文本里，把更清澈的那一层倒出来。