通过生成式预训练提升语言理解（GPT）

这种思路把主要成本集中在一次大规模预训练上，其结果又可以被许多任务反复复用，这正是「基础模型」这一说法的来由。

要解决的问题

训练一个语言任务系统，通常意味着为该任务收集大量人工标注的样本，而标注成本高昂；相比之下，原始文本非常丰富。这篇论文探讨的是：能否先让模型从大量无标注文本中学到通用的语言能力，再用较少的标注数据把它适配到具体任务上。^[1]

方法

OpenAI 于 2018 年 6 月 11 日发布了这篇论文和配套的博客文章。作者为 Alec Radford、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever。^[2] 这个模型后来通常被称为 GPT-1，它是一个 12 层的 Transformer 解码器（decoder）。解码器按从左到右的顺序读取文本，每个位置只能看到前面的词，因此预测下一个词成为一个很自然的训练任务。

训练采用生成式预训练（generative pre-training），即在语料上预测下一个词元（token，通常是一个词或词的一部分）。所用语料是 BooksCorpus，包含七千多本未出版的书籍，之所以选它，是因为其中有大段连续的文字。^[1]

预训练之后，同一个模型会针对每个任务进行微调（fine-tuning），只对输入格式做少量改动。^[1]

微调的意义值得多说几句。模型在预训练语料上学到语言的一般规律之后，面对新任务时，只需把任务输入整理成接近它已熟悉的文本形式，再用少量标注数据继续训练。这意味着每个任务不必设计全新的网络结构，这也是此类方法的吸引力所在。^[1]

结果

论文在多项基准上评估了这一方法。在所研究的 12 项任务中，它在其中 9 项上刷新了当时的最好成绩，任务包括问答、文本蕴含（判断一句话能否从另一句话推出）和常识推理。^[1]

下一个词预测看似简单，却要求模型吸收大量信息。要在一段较长的文字中准确猜出下一个词，模型必须掌握语法、故事中的人物与主题，以及论证如何展开。因此，一个统一的训练目标就能让模型学到许多并未逐一标注的能力。^[1]

为什么重要

这篇论文确立了后来 GPT 系列所遵循的配方：采用纯解码器的 Transformer，在大规模无标注文本上做下一个词预测，再针对任务进行适配。先预训练通用模型、再加以适配，此后成为许多语言模型的核心思路。^[3]