语言模型是少样本学习者（GPT-3）

要解决的问题

在这项工作之前，要让语言模型在某个具体任务上表现出色，常见做法是为这个任务收集数据，再对模型做微调（fine-tuning）。微调会调整模型内部的权重，因此每换一个新任务，往往就需要新的数据和又一轮训练。GPT-3 论文提出了一个不同的问题：如果只把任务描述和几个例子写进提示词，完全不做额外训练，一个模型究竟能走多远？^[1]

怎么做的

这个模型名为 GPT-3，是一个 Transformer 解码器（decoder），拥有 1750 亿个参数，规模是 GPT-2 的 100 多倍。^[1] 参数是神经网络在训练中不断调整的数值，数量越多，模型能够容纳的文本规律就越丰富，但训练和运行的成本也会高得多。

训练数据是经过过滤的 Common Crawl 网页抓取、WebText2、两个图书语料库和英文维基百科的混合，总计约 3000 亿个训练词元（token）。^[1] 词元是模型读入和输出文本时的基本单位，可能是一个完整的词，也可能只是词的一部分。网页、书籍和百科全书混在一起，让模型接触到了多种写作风格。

“少样本”（few-shot）描述的是模型的使用方式：在新的输入出现之前，提示词里先放入少量已经做好的示例。这有点像老师先给学生看几道做好的题，再让他解下一道。模型并没有被明确告知规则，而是从任务描述和示例中自己归纳出其中的模式。

关键在于任务被交给模型的那一刻发生了什么。任务描述和示例都写在提示词里，模型顺着这段文字往下续写，续写的结果就完成了任务，而模型的权重并没有被改动。

结果

论文的主要发现是：在不做微调的情况下，模型仅凭提示词中的任务描述和少量示例，就能完成许多任务；而且这种能力会随着模型规模增大而增强。^[1] 也就是说，规模本身就是结果的一部分。

论文还测试了模型能否撰写新闻文章。人类评审很难分辨哪些文章是 GPT-3 写的，哪些是人写的。^[1]

为什么重要

论文表明，同一个大模型只要换一段提示词，无需针对任务专门训练，就能承担各种不同类型的任务。^[1][3] 对开发者来说，工作的重心可能由此转移：不再一定需要为每个任务收集数据、单独训练模型，而是把精力放在写出清楚的提示词上，描述任务并给出几个示例。

后来的影响

OpenAI 通过付费 API 对外提供 GPT-3，并于 2020 年 6 月 11 日宣布了这项服务，没有公开模型权重。^[2] 开发者和企业由此可以把大模型当作一项服务来使用：发送提示词，取回文本，而无需自己训练或部署模型。^[2]