OpenAI 发布 GPT-2，并暂缓公开完整模型

背景

语言模型（language model）的基本任务是预测一段文本中的下一个词。在大量文本上训练之后，模型会获得关于语言规律的广泛知识，这些知识可以用于其他任务。参数（parameter）是模型在训练中学到的数值，参数越多，模型通常越大，能捕捉的规律也越多。

发生了什么

2019 年 2 月 14 日，OpenAI 发布博客文章《Better language models and their implications》，并发表论文《Language Models are Unsupervised Multitask Learners》，宣布了 GPT-2。^[1][2] 论文作者为 Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei 和 Ilya Sutskever。^[2]

关键细节

论文训练了四种规模的模型，原始参数量标注为 117M、345M、762M 和 1542M。其中最大的一个带有 GPT-2 这一名称，是一个 15 亿参数、48 层的 Transformer。OpenAI 后来表示，这些原始数字有误，并把规模改名为 124M、355M、774M 和 1.5B。^[2][5]

训练数据名为 WebText，是一份新的网页抓取数据，来源是 Reddit 上获得至少 3 点 karma 的帖子所指向的外部链接。它包含略多于 800 万篇文档、40 GB 文本，并去除了维基百科页面。^[2]

在没有针对任务训练的情况下，GPT-2 在测试的 8 个语言建模数据集中有 7 个取得了最好成绩，测试方式是零样本（zero-shot），即不给模型任何示例，也不对该任务做训练。在阅读理解数据集 CoQA 上，它未使用超过 12.7 万条训练样本，就达到了 55 的 F1 值。^[2]

OpenAI 称，模型能够生成连贯的段落，并在没有专门训练的情况下，粗略地完成阅读理解、机器翻译、问答和摘要等任务。^[1]

OpenAI 并没有一开始就公开完整模型。它在 2019 年 2 月公开了 124M 模型，5 月公开了 355M 模型，8 月 20 日公开了 774M 模型，并把这一过程称为分阶段发布（staged release）。^[4]

同年 8 月，OpenAI 在报告《Release Strategies and the Social Impacts of Language Models》中记录了这一做法，作者包括 Irene Solaiman、Miles Brundage、Jack Clark、Amanda Askell 等人。该报告于 8 月 24 日首次发布在 arXiv 上。^[4]

影响

分阶段发布使发布过程本身也成了讨论的对象。OpenAI 没有只在模型公告中说明，而是专门写了报告，这一决定本身因此可以被研究。语言模型的一项普遍局限同样适用于此：生成的文字可以很流畅，却未必准确，使用者应当牢记这一点。

论文中的零样本结果同样依赖所用的测试基准，应当理解为特定测试上的表现，而非模型在所有场景下的通用能力。^[2]