语言模型是无监督的多任务学习者（GPT-2）

要解决的问题

以往常见的做法，是为一项语言任务单独构建并调整一个系统。GPT-2 论文提出了另一个问题：如果用一个足够大、足够多样的文本语料训练语言模型，它能否在不做专门训练的情况下完成多种任务？提示（prompt）是用户提供给模型的文字，用来引导它的输出，例如一段文章的开头或一个问题。论文测试的正是模型仅凭提示能做到什么。^[1]

方法

论文由 OpenAI 于 2019 年 2 月 14 日发布，作者为 Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei 和 Ilya Sutskever。模型 GPT-2 是一个拥有 15 亿参数的 Transformer 解码器，参数量约为 GPT-1 的十倍。它的训练目标是预测下一个词，并在模型规模和数据量上都大幅扩大。^[1]

训练数据名为 WebText，约 40 GB 文本，来自 800 万个网页。这些网页链接自 Reddit 上的帖子，而这些帖子至少获得了 3 个 karma（Reddit 的帖子积分）。^[1]

这种使用方式通常被称为零样本（zero-shot）：模型接收一段描述或提示，直接给出答案，既不需要示例，也不针对该任务额外训练。论文值得注意的一点是，这种能力是从大规模文本上的普通下一个词训练中自然出现的，而不是为每项任务单独设计的。^[1]

在这里，提示既可以是一个问题，也可以是一段文字的开头。语言模型会沿着提示继续生成最可能的后续文字，于是把任务写成提示，就能让它的输出呈现出完成任务的样子。这种使用方式，此后被广泛采用。^[1]

结果

在没有针对任何具体任务训练的情况下，只靠提示，模型就能在一定程度上完成阅读理解、翻译、摘要和问答。^[1]

Reddit 的 karma 是用户在其他人为自己的帖子点赞后获得的积分。因此，要求帖子至少获得 3 个 karma，相当于一个粗略的筛选，留下的多是人们觉得值得分享的页面。^[1]

语言模型的能力，常常是通过它在提示下写出的内容来显现的。它一次选择一个最可能的后续词，所以检验模型能做什么，主要靠阅读它的输出。^[1]

分阶段发布

OpenAI 最初以滥用风险为由，没有公开完整模型，而是分阶段发布。完整的 15 亿参数模型于 2019 年 11 月 5 日发布。^[2]

发布方式的讨论触及了任何强大模型都会遇到的问题：如何在开放与误用风险之间权衡，以及分阶段发布能否让人们有时间去理解模型。这些问题关乎的是强大系统应当如何被分享，而不只是这一个模型。^[2]

为什么重要

这篇论文表明，把下一个词预测的规模做大，能够得到通用的能力。^[1]它还引发了关于是否以及如何公开发布强大模型的讨论。^[3]