GPT-Neo

是什么

GPT-Neo 是 EleutherAI 于 2021 年 3 月 21 日发布的一组开放文本生成模型，目标是复现 GPT-3 的架构 ^[1][5]。首批发布包含 125M、1.3B 和 2.7B 三种参数规模 ^[1]。参数数量是衡量模型容量的一种粗略指标：每个参数都是模型在训练中会调整的一个数字，所以 2.7B 模型可调整的数字大约是 125M 模型的二十倍。按模型卡的记载，这些模型以英文为主要语言，采用 MIT 许可证 ^[5]。

用什么训练

训练数据是 The Pile，其中 1.3B 模型训练了 3800 亿个 token，共 362,000 步 ^[2][3]。token 是文本被切分后的片段，通常是一个词或词的一部分，3800 亿个 token 远超过一个人能读完的文本量。模型的权重和配置文件可以从 the-eye.eu 自由下载 ^[2][3]。模型卡写明，GPT-Neo 1.3B 是作为带掩码的自回归语言模型（masked autoregressive language model）训练的，使用交叉熵损失（cross-entropy loss）^[5]。自回归指的是让模型根据前面的 token 预测下一个 token；交叉熵损失衡量的是模型给出的概率分布与真实的下一个 token 差多远，训练的过程就是不断把这个差距压小。

怎么搭起来的

代码库用 Mesh TensorFlow 编写，面向 Google TPU，EleutherAI 是通过 TPU Research Cloud 拿到这些 TPU 资源的 ^[1][4]。用张量处理器而不是 GPU 来做训练，会影响整个工程的组织方式：Mesh TensorFlow 把计算描述成分布在一大批芯片上的运算网格，同一份描述可以在不同规模上运行。这一后端选择也是后来项目需要另建一条 GPU 路线的原因之一。

发布与分发

模型的署名者是 Sid Black、Stella Biderman、Leo Gao、Phil Wang 和 Connor Leahy ^[3]。发布后它们被加入 Hugging Face Transformers 库，模块名为 GPTNeo ^[3]，使用者可以用与其他 Transformer 模型相同的接口加载，不必自己接上 EleutherAI 的原始代码。MIT 许可证对再次使用限制很少，权重可以被下载、修改和再分发 ^[3][5]。正因为权重和配置可以自由获取 ^[2][3]、许可证也允许复用 ^[3][5]，研究者能够直接运行、检查并改造这些模型，而不只是通过某个在线服务去调用它。

之后发生了什么

原始仓库在 2022 年 2 月 25 日被归档为只读，开发转到基于 GPU 的 GPT-NeoX 代码库 ^[3][4]。GPT-Neo 之后，EleutherAI 又发布了 GPT-J-6B（2021 年 6 月）和 GPT-NeoX-20B（2022 年 2 月）^[1]，规模一路往上走。GPT-Neo 因此处在这条线的起点：从「说要做一个开放的 GPT-3 复现」变成真正拿出任何人都能下载运行的权重。