GPT-NeoX-20B

是什么

GPT-NeoX-20B 是 EleutherAI 构建的开放语言模型，2022 年 2 月发布^[1]。名字里的 20B 说的是规模，具体数字也是公开的：20,554,567,680 个参数分布在 44 层，模型维度 6,144，64 个注意力头（attention head），上下文长度 2,048 个 token，位置信息用旋转位置编码（rotary position embedding）表示^[3]。

它是自回归（autoregressive）模型，训练目标是给定前面已有的文本，预测下一个 token。所谓生成文本，就是把这一个动作反复做下去：模型先给出下一个 token 上的概率分布，从中选一个接到末尾，再预测再下一个。这类模型还有一个用处——只要把任务写进提示里，它就能处理没有被专门训练过的事情。

由来

EleutherAI 在 2022 年 2 月 2 日公布这个模型，2 月 9 日放出权重，中间隔了七天；按该组织的说法，这段延迟是对提供算力的捐赠者的致谢^[1]。它接在 2021 年 6 月发布的 GPT-J-6B 之后，属于同一系列开放的 GPT 式模型^[1]。

训练数据是 The Pile，用的是未去重的版本；训练跑在 EleutherAI 自己的 GPT-NeoX 框架上，算力来自 CoreWeave 提供的 GPU^[1][3]。

成绩与获取方式

发布时给出的零样本（zero-shot）成绩是：LAMBADA 72.0%，同项上 GPT-3 DaVinci 为 75.2%；WinoGrande 66.1%；HellaSwag 53.5%^[1]。EleutherAI 称，据其所知，这是当时公开可访问、可下载的最大预训练通用自回归语言模型^[1]。

获取途径不止一条。权重以 Apache 2.0 协议发布，可以从 The Eye 下载，也通过 GooseAI 提供托管调用服务^[1]。

技术报告

2022 年 4 月 14 日，Sid Black、Stella Biderman、Eric Hallahan 等人把技术报告挂上 arXiv，并在 ACL 2022 的一个 workshop 上做了报告；报告把这个模型描述为相当强的少样本推理者^[2]。论文称，据作者所知，投稿时它是权重公开可得的模型中最大的稠密自回归模型^[4]。作者还发现，与规模相近的 GPT-3 和 FairSeq 模型相比，它从五样本（five-shot）评测中获得的提升要大得多^[4]。训练与评测代码和权重一起开源^[4]。

意义与位置

把权重放出来，意味着别人可以下载、检查、在自己的硬件上运行并改动这个模型，而不是只能隔着某个服务去调用它；Apache 2.0 是一个宽松的开源许可，允许继续使用和再分发^[1]。同一次发布还把周边的东西一并公开了：训练和评测所用的代码随模型一起放出，报告里的数字因此可以对着产生这些数字的流程去核对^[4]。

数字本身比较朴素。在 LAMBADA 上它落后于 GPT-3 DaVinci，72.0% 对 75.2%，但处在同一个区间里^[1]。按作者的观察，它真正有特点的地方在少样本场景：给五个例子之后，它的提升幅度比规模相近的 GPT-3 和 FairSeq 模型大得多^[4]。

在 EleutherAI 这条开放的 GPT 式模型线上，GPT-NeoX-20B 是 GPT-J-6B 之后的一步，把公开出来的规模大约提高到了原来的三倍^[1]。它是这条线上的一个刻度而不是终点，价值有很大一部分不在于它能回答什么，而在于别人可以在它上面继续做事。