用统一的文本到文本 Transformer 探索迁移学习的极限（T5）

在论文的语境中，「统一」指的是用同一种输入输出形式和同一个模型来承载不同任务。这一设计思路的价值，在于它把许多原本各自为政的任务放到了同一个框架下来比较。

要解决的问题

迁移学习（transfer learning）是指先在大规模任务上学习通用能力，再把它迁移到更窄的具体任务上。论文的题目是「用统一的文本到文本 Transformer 探索迁移学习的极限」，它要回答的问题是：用一个统一的方法，这种思路究竟能走多远。^[1]

迁移学习有效的前提，是模型学到的能力能够被重新利用。一个预训练模型要想用于新任务，这个任务就必须能以它理解的形式呈现出来，因此输入和输出的格式与模型结构同样重要。^[1]

编码器-解码器结构天然适合这种表述：编码器把输入文本转换为内部表示，解码器则逐个生成输出词元，并参考这一表示。由于输入和输出都是普通文本，同一套机制就能同时处理翻译、摘要和问答。^[1]

方法

论文的核心想法，是把每一项语言任务都变成「文本输入、文本输出」。例如，输入「translate English to German: ...」，模型就输出对应的德语译文。摘要、问答和分类也可以用同样的方式表述。这样，同一个模型和同一种训练目标就能服务所有任务。模型采用原始的编码器-解码器（encoder-decoder）Transformer 结构，即编码器读取输入，解码器生成输出。^[1]

论文还引入了 C4 数据集（Colossal Clean Crawled Corpus），它是对 Common Crawl 网络文本的清洗版本。作者对预训练目标、模型架构和数据集做了大规模的系统比较，其中最大的模型拥有 110 亿参数。^[1]

论文由 Google 的 Colin Raffel 及其同事撰写，于 2019 年 10 月 23 日提交到 arXiv，之后于 2020 年发表在 Journal of Machine Learning Research 上。^[1]

把所有任务都视为文本，也让比较变得更简单。当翻译、摘要和分类共用同一种格式时，研究者可以只改动系统的一部分，例如数据或训练目标，然后观察结果在所有任务上如何变化。这种可控的比较，是论文贡献的核心之一。^[1]

统一的框架也降低了其他研究者的门槛。公开的模型与有据可查的数据集，为大家提供了共同的参照，使新想法是否真的有效更容易被检验。^[1]

为什么重要

公开的 T5 模型成为后续工作的起点：T0、Flan-T5 等模型都是从 T5 的检查点出发继续训练的，谷歌的图像生成模型 Imagen 也用 T5-XXL 作为文本编码器。^[2]由于所有任务都以文本形式表达，同一个模型可以针对不同用途进行微调。^[1]