OpenAI 发表首篇 GPT 论文，提出生成式预训练

背景

到 2018 年，大多数语言系统都是针对单一任务从零开始训练的，所用的数据是带标签的样本，例如标注了情感倾向的句子，或是成对的翻译句子。标注数据的成本很高，而为一项任务建造的模型很少能直接用到另一项任务上。OpenAI 把自己的方法概括为两个已有思路的结合：Transformer 与无监督预训练（unsupervised pre-training）。^[2]

发生了什么

2018 年 6 月 11 日，OpenAI 发表论文《Improving Language Understanding by Generative Pre-Training》，同时发布博客文章《Improving language understanding with unsupervised learning》。^[1][2] 作者为 Alec Radford、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever，均来自 OpenAI。^[1]

方法分两步。第一步是生成式预训练（generative pre-training），让语言模型在无标注文本上学习，即预测长段文本中的下一个词。第二步是判别式微调（discriminative fine-tuning），在每项具体任务的标注数据上调整同一个模型。^[1]

关键细节

预训练使用 BooksCorpus 数据集，其中包含 7000 多本风格各异、从未出版的图书。^[1] 连续的长文本让模型练习跨越多个句子的语言流动，而不只是短片段。

模型是一个 12 层的仅解码器 Transformer，使用掩码自注意力（masked self-attention），即每个位置只能关注它前面的词。隐藏状态维度为 768，共 12 个注意力头。训练进行了 100 个轮次（epoch），每批为 64 段、每段 512 个词元的连续序列。^[1]

微调时，团队使用了任务感知的输入变换（task-aware input transformations），把每项任务的输入转换成模型可以直接读取的形式，因此从一项任务换到另一项任务时，架构只需极少改动。^[1]

论文称其结果是任务无关的（task-agnostic）：同一个预训练模型只经过轻微调整，就在研究的 12 项任务中的 9 项上刷新了当时的最好成绩。绝对提升分别为常识推理（Stories Cloze Test）8.9%、问答（RACE）5.7%、文本蕴含（MultiNLI）1.5%。^[1]

OpenAI 把代码和模型发布在 GitHub 上，仓库名为 finetune-transformer-lm。该仓库能复现论文中的 ROCStories Cloze 结果（论文报告为 86.5%），目前已经归档。^[3]

影响

这篇论文表明，一个通用语言模型只要在无标注文本上训练，再经过轻度调整，就能在许多过去需要各自专门系统的任务上表现良好。「预训练加适配」的思路在后续工作中成为常见做法。代码和模型公开后，其他研究者可以核对论文结果，上面提到的 Cloze 结果复现就是一例。不过，这些提升是在特定基准上测得的，说明的是这些测试上的表现，并不等于模型具备全面的语言能力。

这篇论文是这一路线的早期例子。它的结果是在一组固定的基准任务上报告的，比较后来关于通用语言能力的说法时，值得记住这一点。