OpenAI 发布 GPT-3 论文

背景

过去，要让预训练的语言模型适应一项新任务，常见做法是在该任务的标注数据上继续训练。GPT-3 论文尝试的是另一条路线：把模型做得大得多，然后用纯文本描述任务，并在输入中写入少量示例。^[1]

发生了什么

2020 年 5 月 28 日，论文《Language Models are Few-Shot Learners》提交到 arXiv。^[1] 论文列出了 31 位 OpenAI 作者，由 Tom B. Brown 领衔。作者名单中包括 Jared Kaplan、Alec Radford 和 Ilya Sutskever，最后一位是 Dario Amodei。^[1]

论文介绍了 GPT-3，这是一个自回归（autoregressive）语言模型，参数量为 1750 亿。作者称，这一规模是此前任何非稀疏语言模型的 10 倍。^[1] 自回归模型逐个生成词元，每个词元都基于前面已经出现的内容。

关键细节

论文的核心发现是：扩大语言模型的规模，能显著提升其与任务无关的少样本（few-shot）表现。任务和示例都以文本形式交给模型，而不是通过额外训练来教授。^[1] 少样本是指输入中只给出少量示例，模型的参数本身不做更新。

论文还报告，GPT-3 生成的新闻文章样本，人类评估者很难将其与人类撰写的文章区分开来。^[1]

2020 年 12 月 7 日，NeurIPS 将该论文评为三篇 NeurIPS 2020 最佳论文奖之一。^[4]

小样本提示（few-shot prompting）是这一发现的实际用法。用户先写一段简短的任务描述，可选地附上几组输入与输出的示例，然后模型会接着文字给出答案。整个过程中模型的参数不会改变，因此只需更换提示词，同一个模型就能切换到不同任务。^[1]

论文的核心论点是关于规模的，因此参数量是其结论的关键组成部分，阅读时应当与性能提升一并理解。^[1]

影响

论文发表之后，模型的使用方式随之改变。同年 6 月 11 日，OpenAI 宣布推出 API，供外部访问其新的 AI 模型；9 月 22 日，它同意把 GPT-3 授权给微软，用于微软自有的产品和服务。^[2][3]

更广泛的影响，是「用文本描述任务、辅以示例，让同一个大模型处理多种任务」的思路。此后，这一路线成为大语言模型的主要方向之一。它也依赖规模极大的模型，训练和运行的成本都很高。

论文还提出了一个此后的研究不断回到的问题：难以与人类文字区分的文本有许多正当用途，但同时也使人们更难判断一段文字的作者。论文中的新闻样本正是这一问题的具体例子。^[1]