T5（文本到文本迁移 Transformer）

是什么

T5 全称「文本到文本迁移 Transformer」（Text-to-Text Transfer Transformer），是 Google 的 Transformer 语言模型系列。它出自论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》，作者为 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li 和 Peter J. Liu，2019 年 10 月 23 日首次发布在 arXiv 上。^[1]

把所有任务写成同一种格式

核心思路直接写在名字里：翻译、问答、分类、摘要，所有语言任务都被改写成「输入文本、输出文本」，于是同一个模型、同一个损失函数、同一套训练流程可以服务全部任务。^[1] 这样做的结果是接口统一：不必为每个任务单独加一个输出层或一套打分规则，模型读进一段文字，再吐出另一段文字。

这类研究的常见做法是：先在大规模无标注文本上预训练（pre-training），再针对具体任务在小规模标注数据上微调（fine-tuning）。格式统一让这条流水线变得规整——同一条训练流程和同一个目标函数，换一个数据集就能直接用，一个模型也可以同时学多个任务。^[1]

一次系统的比较

这篇论文提出的不是某一个技巧，而是在数十个语言理解任务上，系统比较预训练目标、模型架构、无标注数据集和迁移方法。^[1] 它把「文本到文本」这套框架固定下来，逐一替换周围的选择，因此结论能说明迁移学习流程里哪些环节真正起作用。也正因为如此，这篇论文读起来更像一张关于该领域的经验地图，而不只是一次模型发布。

C4 数据集

与模型一同提出的还有 Colossal Clean Crawled Corpus（C4）：一个经过清洗的网络抓取数据集，Google 称其规模比维基百科大两个数量级，通过 TensorFlow Datasets 分发。^[2]

模型规格

公开的检查点（checkpoint）共五个：T5-Small 6000 万参数、Base 2.2 亿参数、Large 7.7 亿参数，以及 30 亿和 110 亿参数的版本。^[3]

成绩

110 亿参数版本在 GLUE、SuperGLUE、SQuAD 和 CNN/Daily Mail 上取得当时最好成绩，SuperGLUE 上的分数接近人类水平。^[2] 团队还测试了「闭卷」问答：不提供参考段落，让模型凭训练中获得的知识直接作答。按完全匹配（exact match）计，TriviaQA 上为 50.1%，WebQuestions 上为 37.4%，Natural Questions 上为 34.5%。^[2]

开放与后来的位置

代码、预训练模型和数据集都公开释出，Google 在 2020 年 2 月 24 日的研究博客中宣布了这次发布。^[2][3] 仓库采用 Apache-2.0 许可，自 2022 年 7 月起，维护者建议改用更新的 T5X 实现。^[3] 同一篇博客还提到，多任务学习（multitask learning）的表现可能已经接近「先预训练再微调」的做法。^[2]