GPT-J-6B

是什么

GPT-J-6B 是 EleutherAI 于 2021 年 6 月发布的开源语言模型，参数量约 60 亿^[2][3]。模型以 Apache 2.0 许可发布，允许包括商业用途在内的再利用^[1]。发布时，维基百科称它是「世界上最大的开源类 GPT-3 模型」^[3]。

这类模型训练时只做一件事：根据已有文本预测下一个词元（token）。要把这件事在大量文本上做好，模型必须间接学会语法、事实知识和一定的推理，因此它可以不经过专门训练就用来做翻译、摘要和问答。

由来

Aran Komatsuzaki 的发布公告标注日期为 2021 年 6 月 4 日，维基百科给出的发布时间则是 6 月 9 日^[2][3]。模型的作者署名是 Ben Wang 和 Aran Komatsuzaki，训练使用 Ben Wang 的 Mesh Transformer JAX 代码库^[1]。它是 GPT-Neo 的后继者，也是 2022 年 2 月推出的 GPT-NeoX-20B 的前身^[3]。

结构与分词

模型共有 6,053,381,344 个参数，28 层，模型维度为 4096，上下文长度为 2048 个词元^[1]。参数是训练过程中学到的数值；模型维度指每个词元在网络中流动时所用向量的宽度；上下文长度则是模型预测下一个词时能同时看到的文本量。28 层被分成 16 个注意力头，每头 256 维，前馈维度为 16,384^[4]。注意力头是 Transformer 中让每个词元从上下文中其他词元取信息的部分。

与早期模型使用可学习的位置向量不同，GPT-J 采用旋转位置编码（rotary position embeddings，RoPE）^[1]。RoPE 通过旋转每个词元的表示来编码位置，两个词元之间的相对距离会体现为旋转角度差；在 GPT-J 中，每个注意力头有 64 维应用了这一编码^[4]。

分词器词表大小为 50,257，与 GPT-2 和 GPT-3 使用相同的字节对编码（byte-pair encoding，BPE）分词器^[4]。BPE 把文本切成子词单元，使固定大小的词表能够覆盖任意文本，包括没见过的词。

训练

GPT-J-6B 在 TPU v3-256 pod 上训练了 The Pile 的 4020 亿个词元，共 383,500 步，训练时间约五周^[1][2]。用远多于参数量的词元来训练，是让小模型充分发挥容量的常规做法：每个参数会在许多不同的文本片段上被反复更新。

成绩

在模型卡列出的基准上，GPT-J-6B 与 67 亿参数的 GPT-3 Curie 成绩接近：LAMBADA 准确率 69.7% 对 69.3%，Winogrande 65.3% 对 65.6%，HellaSwag 66.1% 对 68.5%，PIQA 76.5% 对 77.9%^[1]。LAMBADA 考查模型能否补出一段话的最后一个词，通常需要跟上更长的上下文；HellaSwag 考查对句子做符合常识的续写；PIQA 考查关于物理常识的问答；Winogrande 考查判断代词或短语指代的是哪个对象。

这四个数字呈现出的模式是：GPT-J-6B 在某些任务上与对照模型持平，在另一些上略低，差距小到两者之间的区别要小于它们与更大模型之间的差距。

为什么重要

GPT-J-6B 的意义在于规模、开放程度和时机三者的结合。一个自由许可、公开成绩又能与中等规模专有 GPT-3 变体相比的模型，让研究者和小的团队可以自己下载、检查和微调，而不必依赖付费接口；Apache 2.0 许可也消除了这样做的多数法律不确定性^[1]。

它还标出了一条可见的发展轨迹。它承接 GPT-Neo，又为 GPT-NeoX-20B 铺路^[3]，显示一个开源项目在一步步扩大模型：每次发布都比上一次用更多数据和更多算力训练。对想了解公开可用的语言模型如何发展起来的读者来说，GPT-J-6B 是一个参照点——一个约 60 亿参数、在一块大型 TPU pod 上训练五周、任何人都能下载运行的模型^[1][2]。