GPT-2

是什么

GPT-2 是 OpenAI 于2019年2月14日宣布的语言模型，论文题为《Language Models are Unsupervised Multitask Learners》，作者为 Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei 和 Ilya Sutskever ^[1]。

最大版本有 15 亿个参数（论文中写作 1542M）。参数是模型在训练中调整的数值，通常参数越多，学习模式的能力越强。该模型采用基于 Transformer 的架构，词表含 50,257 个词元，上下文长度为 1,024 个词元，而最初的 GPT 上下文为 512 个 ^[1]。

由来

GPT-2 是 GPT-1（2018年发布）的后继者，也是 GPT-3（2020年发布）的前身。GPT-3 保持了相同的模型与架构，规模扩大了 100 多倍 ^[4]。

训练数据来自 WebText，这是一个新的数据集，由 Reddit 帖子所链接页面的文本构成。它包含略超过 800 万份文档、40 GB 文本，并去掉了维基百科的文章。模型卡称，数据来自 4,500 万个链接，截止到2017年底 ^[1][6]。

主要特点

论文表明，该模型无需任何针对具体任务的训练即可工作，这种设定称为零样本（zero-shot）。在零样本设定下，GPT-2 在所测试的 8 个语言建模数据集中有 7 个取得了当时的最好成绩，并在阅读理解数据集 CoQA 上达到 55 的 F1 分数 ^[1]。F1 分数是综合准确率与召回率的一种评价指标。

论文的主要论断是：一个只被训练去预测文本的模型，当规模足够大、训练文本足够多样时，可以开始完成它从未被明确训练过的任务，例如回答问题或概括段落。

分阶段发布与风险

OpenAI 起初没有公开完整模型，理由是存在恶意使用的风险，例如能绕过过滤器的垃圾信息，以及淫秽或种族歧视的文本。媒体标题把该模型形容为「too dangerous」（太危险）而不宜发布 ^[4]。

发布分阶段进行。124M 参数的模型于2019年2月 发布，355M 模型于2019年5月 发布，774M 模型于2019年8月 发布，完整的 15 亿参数模型则于2019年11月5日 发布 ^[4][5]。

OpenAI 表示，最终发布的部分目的，是帮助检测 GPT-2 生成的文本。其模型卡报告，OpenAI 微调的检测器准确率约为 95%，但同时提醒，没有任何一种单一的检测方法是足够的 ^[5][6]。OpenAI 在题为《Release Strategies and the Social Impacts of Language Models》的报告中记录了分阶段发布的做法和风险研究，该报告于2019年8月发布，并在2019年11月修订 ^[2]。

代码与后来的状况

代码和权重发布在 openai/gpt-2 GitHub 仓库中，采用修改版的 MIT 许可证。该仓库已于2026年4月归档，即变为只读状态 ^[3]。

GPT-2 清楚地展示了 GPT 系列的成长：它与 GPT-1 同属 Transformer 架构，但改用 WebText 数据集训练，并以多种规模发布。分阶段发布的做法也使「大型语言模型应当如何共享」成为公众讨论的一个焦点。