EleutherAI 发布 GPT-Neo

背景

大语言模型是在大量文本上训练出来的神经网络，它学会的事情是预测一段话接下来会出现什么，训练完成后就可以被提示着续写、回答或改写文字。但一个模型「存在」和「能被使用」是两回事。GPT-3 只能通过 API 调用，使用者把请求发给 OpenAI 的服务器，拿到的是返回的文本，而不是模型本身^[2]。对于想从内部研究模型行为、或者想在自己的机器上跑模型的研究者来说，这种安排划出了一条仅靠巧妙的提示无法绕过的边界。

发布

2021 年 3 月 21 日，EleutherAI 发布了 GPT-Neo 模型^[1]。这一系列有三个规模：1.25 亿、13 亿和 27 亿参数^[1]。参数是网络内部那些被训练出来的数值，可以粗略理解为训练过程中不断调整的旋钮，因此三个版本分别对应一个小模型、一个中等规模的模型和一个明显更大的模型；一次放出三种，是为了让使用者按自己的硬件条件和任务需要挑一个。

与 GPT-3 最关键的区别在分发方式：GPT-Neo 的权重可以自由下载^[2]。权重就是训练好的参数值本身，是让一套网络结构变成可用模型的那个文件。把它公开，意味着只要能下载文件，模型就落在自己手里，而不只是向别人借用。

怎么训练的

这些模型训练所用的数据集是 EleutherAI 自己构建的 The Pile^[2]。模型卡明确写到，The Pile 是 EleutherAI 为训练这些模型这一目的而建立的^[3]，也就是说数据与模型是一起设计的，而不是把模型套到别人凑好的语料上。

算力来自 Google 的 TPU，通过 TPU Research Cloud 获得^[1]。TPU 是为神经网络训练中占主导的矩阵运算设计的芯片，能以云服务的方式拿到这类芯片，让项目得以在自身机器无法达到的规模上训练。

模型卡对 13 亿参数那一版的训练过程给出了具体记录：3800 亿个 token，36.2 万步^[3]。token 是模型读取和预测的文本片段，可以是一个词，也可以是词的一部分；一步则是在一批文本上完成一次参数更新。这两个数字放在一起，描述的是一次很长的训练：海量文本被扫过，每一批数据看过一遍，参数被反复朝着预测更准的方向推动。

影响

发布时的表述本身就点明了对照关系：权重可自由下载，而 GPT-3 只能通过 API 使用^[2]。这改变了外部研究者能做的事。可下载的模型可以被拆开检查，可以在完全相同的输入上反复运行，可以被修改，也可以和其他模型在同等条件下比较；只能通过 API 调用的模型则只能被询问，并且受制于服务方的条款和可用性。

同样重要的是模型与一个专门为它建立的、有据可查的数据集被放在一起发布^[3]。语料由训练模型的那批人自己构建，再加上一份描述训练过程的模型卡，后来的工作才有可能说清楚某个结果究竟建立在什么之上。三个规模也给研究社区提供了一组阶梯：同一套做法在不同尺度上的版本，小到普通硬件跑得动，大到足以做出有意思的结果。因此 GPT-Neo 更适合被理解为一个打包发布的东西——权重、数据和文档在 2021 年 3 月 21 日一同公开^[1][2]。