C4：超大干净爬取语料库（T5 论文）

要解决的问题：多种任务，一个接口

自然语言处理里的任务，输入输出形态各不相同：一篇文章要变成摘要，一个问题加一段材料要变成答案，一句话要变成一个类别。迁移学习希望先从未标注文本里学到通用知识，再迁移到具体任务；但当每个任务都有独立流程时，不同设计选择很难放在一起比较。这篇论文于 2019 年 10 月 23 日提交到 arXiv，作者是 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li 和 Peter J. Liu ^[1]。论文提出一个统一框架，把所有基于文本的语言问题都转成文本到文本（text-to-text）格式 ^[1]。模型读入文本，再输出文本；摘要、答案、类别标签都作为文本生成。这样，同一套训练和评估流程就可以覆盖许多任务 ^[1]。

系统比较设计选择

论文不只是描述一个模型。它做了一项系统研究，在数十个语言理解任务上比较预训练目标、架构、无标注数据集、迁移方法和其他因素 ^[1]。这种广度很重要，因为迁移学习有很多可调选择：用什么目标做预训练、用什么架构、从什么无标注文本中学习、怎样把模型适配到下游任务。把这些选择放进同一个文本到文本框架后，作者可以在共同基础上比较它们 ^[1]。因此，这篇论文既报告了一组结果，也给出了一张关于设计空间的实证地图 ^[1]。

C4 与最优结果

作者引入了名为 Colossal Clean Crawled Corpus 的 C4 语料库 ^[1]。这个名字描述的是一个规模很大、经过清洗的爬取文本集合，C4 也是论文中新的无标注数据集 ^[1]。作者把探索规模得到的洞见与这个新语料库结合起来，在摘要、问答和文本分类等许多基准上取得了当时的最优结果 ^[1]。这些结果不局限于单一基准，而是覆盖了多个语言任务类别 ^[1]。论文发表在 Journal of Machine Learning Research ^[2]。

公开与影响

作者公开了 C4 数据集、预训练模型和代码，以便推动自然语言处理迁移学习的后续工作 ^[1]。这意味着后来者可以拿到同一份语料、同一组训练好的模型和同一套实现，从而复现并扩展实验 ^[1]。论文的重要性来自三件相互关联的事：简单的文本到文本接口、对迁移学习选择的广泛比较，以及让工作可检验的公开产物 ^[1]。对读者来说，实际意义在于：摘要和分类这样看似不同的任务，可以用同一种输入输出约定来表达 ^[1]。论文在数十个任务上提供的证据，说明了哪些因素会影响迁移学习效果 ^[1]。它的发表形式也让这项研究进入学术期刊的存档文献 ^[2]。