GPT-1（初代 GPT）

是什么

GPT-1 是 OpenAI GPT（生成式预训练 Transformer，generative pre-trained transformer）系列的第一个模型。它是一个语言模型，即学习预测文本的程序，之后还可以适配到其他语言任务上。该模型于 2018年6月11日 随论文《Improving Language Understanding by Generative Pre-Training》发布，同时发布的还有一篇题为《Improving language understanding with unsupervised learning》的博客文章。后来人们才开始称它为 GPT-1 ^[1][2]。

作者为 Alec Radford、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever ^[1]。

由来

OpenAI 把这一方法描述为 Transformer 与无监督预训练的结合，分为两个阶段：先把模型当作生成式语言模型，在无标注文本上训练；再针对每个具体任务进行判别式微调（fine-tuning）^[2]。

它的结构是 12 层、只含解码器的 Transformer，使用掩码自注意力（masked self-attention），隐藏状态维度为 768，共 12 个注意力头 ^[1]。自注意力让段落中的每个词在构建表示时，都能参考周围其他词的信息。所谓「掩码」，是指预测下一个词时，模型不能看到后面的词。所谓「只含解码器」，是指模型只采用原始 Transformer 设计中负责生成的那一半。

预训练使用的是每批 64 个、每个 512 个词元（token）的连续序列，共训练 100 个 epoch ^[1]。词元是文本的基本单位，常是一个词或词的一部分；一个 epoch 指把全部训练数据完整过一遍。

预训练数据是 BooksCorpus，包含 7,000 多本未出版的独特书籍。作者选择它，是因为其中有大量连续的长段文本，适合一个靠预测下一个词来学习的模型 ^[1]。

主要特点

最突出的特点是：每项任务对结构的改动很小。微调时使用了任务感知的输入变换（task-aware input transformations），因此每项任务只需对模型做最小的修改 ^[1]。这意味着，不必为每个问题单独设计一个网络，而是可以把任务用结构化的形式输入同一个预训练模型。

效果覆盖面较广。GPT-1 在所研究的 12 项任务中，有 9 项超越了当时的最好成绩。绝对提升幅度分别为：常识推理（Stories Cloze Test）8.9%，问答（RACE）5.7%，文本蕴含（MultiNLI）1.5% ^[1]。

OpenAI 在 GitHub 上以 finetune-transformer-lm 仓库发布了代码和模型。该仓库可以复现 ROCStories Cloze 的 86.5% 结果，目前该仓库已归档 ^[3]。

在 GPT 系列中的位置

GPT-1 是 GPT 系列的第一个模型，2019年2月 由 GPT-2 接替 ^[2]。该系列的核心思路，即先在大量文本上预训练一个大型语言模型，再加以适配，贯穿此后的每一代模型。GPT-2 沿用了同样的总体思路，并有自己独立的条目。

对读者来说，GPT-1 是一个很好的参照点：按后来的标准，它的规模很小。12 层和 768 维的隐藏状态与之后的模型相比都较为朴素，它的结果更适合被看作一种方法的早期证据，而不是成熟的产品。