NVIDIA 与微软发布 5300 亿参数的 Megatron-Turing NLG

背景

到 2021 年，语言模型的规模增长很快，每一代超大模型都需要新的工程手段来训练。训练拥有数千亿参数的模型，意味着要把工作分配到大量处理器上，因为单块芯片既装不下整个模型，也无法在可接受的时间内完成计算。NVIDIA 与微软的宣布，既涉及模型的规模，也涉及它的训练方式。

参数（parameter）是神经网络内部在训练中设定的数值。拥有 5300 亿个参数的语言模型因此规模非常大，训练和运行它的成本也相应很高。

发生了什么

2021 年 10 月 11 日，NVIDIA 与微软宣布了 Megatron-Turing NLG 530B。这是一个拥有 5300 亿参数的生成式语言模型^[1]。两家公司称它是同类中最大、最强的模型，规模是当时已有的同类模型中最大者的三倍^[1]。这一消息通过 NVIDIA 的技术博客发布，博客详细介绍了训练工作^[1]。

论文报告，该模型在多项基准的零样本、单样本和少样本设定下取得了新的最好结果^[2]。零样本指模型不给示例直接作答，单样本指给一个示例，少样本指给少量示例。这些设定下的结果显示，模型在未经专门训练的任务上表现如何。

关键细节

该模型在 Selene 超级计算机的 560 台 NVIDIA DGX A100 服务器上完成训练^[1]。DGX A100 是一种装有多块 A100 GPU 的服务器。GPU（图形处理器）是能同时进行大量计算的芯片，超级计算机则把许多这样的服务器连接起来，共同完成一项任务。

训练结合了 NVIDIA 的 Megatron-LM 和微软的 DeepSpeed^[1]。Megatron-LM 是 NVIDIA 用于把大模型拆分到多块 GPU 上的库，DeepSpeed 则是微软用于高效训练大模型的库。两者结合使团队能够同时以几种方式拆分工作：按模型副本拆分、按网络阶段拆分，以及在每一层内部拆分。正是这种组合，使这一规模的模型得以训练。

完整技术报告《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model》于 2022 年 1 月 28 日发布在 arXiv 上^[2]。arXiv 是研究人员分享论文的公开服务器。2021 年的公布与报告之间的时间差说明，公开宣布早于对模型构建过程的详细记录。

影响

这次公布使该模型的规模成为公众可以参照的标杆。它的规模是同类模型中最大者的三倍，两家公司把它作为同类中最大的模型来介绍。对研究者而言，最有用的是报告，它把训练方法和基准结果集中记录在一处。

外部研究者可以在论文中读到关于该模型及其方法的介绍，但这次公布并没有提供模型本身。研究语言模型历史的读者，可以把这次公布看作一个清楚的案例：在 2020 年代初，业界如何把模型规模不断推高，以及训练工程如何变得与模型本身同样重要。