Megatron-Turing NLG 530B

是什么

Megatron-Turing NLG 530B（常简称 MT-NLG）是 NVIDIA 与微软于 2021 年 10 月 11 日联合发布的语言模型，参数量 5300 亿，是当时同类模型中最大者的三倍^[1]。参数量大致对应网络在训练中可以调整的数值个数：参数越多，能容纳的模式越多，训练和运行的开销也越大。论文把它称为当时最大的单体（monolithic）Transformer 语言模型^[2]。这里的「单体」是指整个模型是一套稠密网络，而不是把不同输入分派给多个子网络的混合专家结构。

结构与训练数据

网络的形状由一组数字确定：105 层，隐藏维度 20,480，128 个注意力头（attention head），输入序列长度为 2,048 个 token^[1]。注意力头是并行计算注意力的分支，层数则决定信息在通过网络时被反复处理多少次。训练数据方面，模型在 2700 亿 token 上训练，这些 token 取自一个 3390 亿 token 的精选集合，共涉及 15 个数据集，其中包括 The Pile 的一个子集、两份 Common Crawl 快照、RealNews 和 CC-Stories^[1]。

训练系统

训练在 NVIDIA 的 Selene 超级计算机上完成，它由 560 台 DGX A100 服务器组成，每台配 8 块 A100 80GB GPU^[1]。这样大的模型放不进单块 GPU，必须把工作拆开：模型本身切分到不同芯片上，层被排成前后相继的阶段依次传递中间结果，数据批次也分散开来。为此，两家公司把 NVIDIA 的 Megatron-LM 与微软的 DeepSpeed 组合起来，同时使用数据并行、流水线并行和张量并行，也就是常说的 3D 并行，单块 GPU 的吞吐达到 113–126 teraFLOP/s^[1][2]。

结果

模型在 LAMBADA 和 PiQA 上取得了当时最好的零样本、单样本和少样本结果^[1]。零样本、单样本和少样本，指的是提示里放 0 个、1 个或几个示例，而模型的权重不再更新。在少样本设置下，它在 LAMBADA 上的准确率为 0.872，在 PiQA 上为 0.832^[1]。NVIDIA 还报告说，定性分析显示模型能够在完全没有微调的情况下从上下文推断基本的数学运算，并处理一些让微调过的模型也吃力的句法结构^[1]。

论文与发布

技术论文由 Shaden Smith、Mostofa Patwary 等共 20 位作者撰写，于 2022 年 1 月 28 日发布到 arXiv^[2]。模型的权重没有公开发布^[1]，因此外部研究者可以读到方法和数字，却不能自己运行这个模型。

在发展中的位置

NVIDIA 把 MT-NLG 描述为 Turing NLG 17B 和 Megatron-LM 的后继^[1]，把它放在自家大模型路线的延长线上。两家公司同时承认，模型会从训练数据中继承偏见，并强调在生产环境中使用时要遵循负责任 AI（responsible AI）的原则^[1]。这次发布留下的另一重记录是工程方法本身：一个超大规模的稠密模型，由两套各自独立开发的软件栈在同一套专用集群上拼接起来完成训练，训练过程本身就是发布的主要内容。