OpenAI 公开 15 亿参数的完整版 GPT-2

背景

2019 年，OpenAI 分阶段发布了 GPT-2。前几个阶段分别是 2 月的 124M 模型、5 月的 355M 模型和 8 月的 774M 模型，它们都比完整模型小。^[1]

分阶段发布（staged release）是指按顺序逐步公开一个项目的不同部分，而不是一次全部放出。每一阶段之后，外界都有机会观察前一阶段的情况，再决定下一步。^[1] 研究者可以把这个模型的输出与此前较小版本的输出进行比较，这也是分阶段做法为社区留下一系列可供研究的模型的原因之一。

发生了什么

2019 年 11 月 5 日，OpenAI 公开了规模最大的 GPT-2 版本，参数量为 15 亿，同时提供代码和模型权重。这是分阶段发布的最后一步。^[1]

OpenAI 表示，此次发布的目的之一是便于检测由 GPT-2 模型生成的文本。^[1] 它也指出，自 8 月以来，其他机构已经发布了更大的语言模型，但 OpenAI 仍按原定的分阶段计划推进，以便为社区提供一个完整分阶段发布的案例。^[1]

关键细节

模型卡（model card）把 15 亿参数版本描述为 GPT-2 的第四个也是最大的版本，日期标注为 2019 年 2 月，训练数据截止于 2017 年底。WebText 训练集来自 Reddit 上发布的 4500 万个链接所指向的文本。^[2]

模型卡提醒，该模型无法分辨事实与虚构，并且会反映训练数据中的偏见。卡片还提到，OpenAI 经过微调的检测器准确率约为 95%，但同时强调，单一的检测方法并不足够。^[2]

OpenAI 还公开了一个 GPT-2 生成文本的数据集，名为 gpt-2-output-dataset，供研究者研究模型的行为。^[3]

gpt-2 代码仓库采用修改版 MIT 许可证，目前已经归档。arXiv 上的分阶段发布报告在 2019 年 11 月 13 日进行了修订。^[3][4]

影响

随着这次发布，分阶段计划画上了句号。它的主要意义在于把发布本身当作需要审慎研究和记录的事情：模型、模型卡和输出数据集同时公开，并配有一份关于语言模型社会影响的单独报告。模型卡中的提醒也适用于任何语言模型：流畅的文字不等于准确的文字，而检测工具只能是答案的一部分。

阅读模型卡时应注意，其中的提醒针对的是 2019 年发布时的这一版本，后来的模型可能表现不同。^[2]