GPT-3

是什么

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文为《Language Models are Few-Shot Learners》，第一作者为 Tom B. Brown，另有 30 位合著者。论文于2020年5月28日发布在 arXiv 上。1750 亿参数使它比此前任何非稀疏语言模型大 10 倍 ^[1]。自回归是指模型逐个生成词元，每个词元都以前面的词元为条件。

由来

GPT-3 使用的模型与架构与 GPT-2 相同，只是规模被放大。它有 96 层，模型维度为 12,288，96 个注意力头，上下文窗口为 2,048 个词元。论文训练了 8 个模型，参数从 1.25 亿到 1750 亿不等 ^[1]。

所有模型都在 3,000 亿个词元上训练。训练数据的配比为：经过过滤的 Common Crawl 占 60%，WebText2 占 22%，Books1 和 Books2 各占 8%，维基百科占 3% ^[1]。Common Crawl 是一个规模很大的网页存档，这种配比说明数据来自多个来源，而不是单一的一批文本。

论文的贡献说明中写道，Dario Amodei 设计并领导了这项研究。Jared Kaplan 和 Sam McCandlish 预测，一个巨大的语言模型应当继续表现出性能提升。Alec Radford 最早证明了语言模型中会出现少样本学习 ^[1]。

GPT-3 是 GPT-2 的后继者，此后出现了 GPT-3.5 系列。该系列是 ChatGPT 背后的第一个模型家族，ChatGPT 于2022年11月 推出；2023年3月 之后又推出了 GPT-4 ^[7]。

主要特点

论文的关键结果是少样本（few-shot）、单样本（one-shot）和零样本（zero-shot）学习。在这些设定下，模型只靠几个示例、一个示例或提示词中的一条指令，就能完成新任务，且不需要梯度更新。梯度更新是标准模型根据新的训练数据调整权重的步骤。没有这一步，说明模型的行为变化完全来自它所得到的文本 ^[1]。

论文以 TriviaQA（一个知识问答数据集）为例：零样本准确率为 64.3%，少样本准确率为 71.2% ^[1]。

论文还测试了人类的判断。人类评估者要区分由 1750 亿参数模型写出的、约 500 词的新闻文章和人类撰写的文章，准确率只有约 52%，接近随机猜测的水平 ^[1]。

接入与授权

GPT-3 通过 OpenAI 的 API 提供访问，该 API 于2020年6月11日宣布。API 的候补名单于2021年11月18日取消 ^[5][6]。

2020年9月22日，微软宣布获得 GPT-3 的独家授权。其他人可以使用公开的 API，但只有微软能够接触底层模型 ^[2][6]。

荣誉与退役

该论文获得了 NeurIPS 2020 最佳论文奖 ^[3]。

API 中最初的 GPT-3 基础模型 ada、babbage、curie 和 davinci 于2024年1月4日 关停。它们的替代模型 davinci-002 和 babbage-002 原定于2026年9月28日 关停 ^[4]。

在语言模型发展中的位置

GPT-3 表明，仅靠规模扩大，就能让同一个模型具备过去需要单独针对任务训练才能拥有的广泛能力。它基于提示词的使用方式，即在输入中描述任务而不是重新训练模型，成为使用语言模型的常见做法。此后的模型，包括 GPT-3.5 和 GPT-4 系列，都建立在同一类思路之上。