百度与鹏城实验室发布 2600 亿参数的 ERNIE 3.0 Titan

背景

ERNIE 是百度围绕「知识增强」（knowledge-enhanced）构建的预训练模型系列。所谓知识增强，是在普通文本之外引入知识类信号，让模型在学习语言的同时也接触实体、关系这类结构化信息，而不是只从词语共现里推断世界。2021 年 7 月，这个系列出现过 100 亿参数的版本^[2]。把同一套框架继续放大，是此后的一步。

参数量常被当作预训练模型的一个粗略刻度：参数越多，网络能容纳的模式越多，训练和推理的代价也越大。这里还要区分两种结构。稠密（dense）模型对每个输入都用上全部参数；稀疏（sparse）模型则只激活其中一部分，混合专家（mixture of experts）是常见做法。参数量相同时，稠密结构的计算开销更高。

论文说了什么

2021 年 12 月 23 日，来自百度和鹏城实验室的作者把论文挂到 arXiv^[1]。论文标题是《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》，点明的主题是探索更大规模的知识增强预训练，并且把语言理解与语言生成放进同一个模型，而不是分成两类问题处理^[1]。

模型规模是 2600 亿参数。作者称它是当时最大的中文稠密预训练模型^[1]。它是 ERNIE 3.0 框架的放大版：此前 100 亿参数的版本给出了框架与训练方法，Titan 把这些方法用到更大的规模上^[2]。

训练上的几处设计

第一处是自监督对抗损失（self-supervised adversarial loss）^[1]。对抗训练的一般思路是让模型面对更难的样本，而不是一组固定不变的简单样本。这里有两处值得注意：训练信号来自自监督，不需要人工标注；难度是对抗地构造出来的。

第二处是可控语言建模损失（controllable language modeling loss）^[1]。普通的语言建模目标只要求模型预测下一个词，论文在这一目标之外加入了与「可控」有关的约束，让生成过程受到额外条件的引导。

第三处是在线蒸馏（online distillation）框架^[1]。蒸馏通常指把大模型学到的能力迁移给更小的模型；「在线」意味着这一步与预训练放在同一条流程里进行，而不是训练结束后再单独做一次。

工程上，模型基于百度的深度学习框架 PaddlePaddle（飞桨）构建^[1]。

结果

论文报告，模型在 68 个自然语言处理数据集上超过了当时的最优模型^[1]。这个数字是许多任务结果的汇总，而不是单一成绩；它覆盖的任务，正对应标题所说的理解与生成两类工作。

在发展中的位置

把 Titan 与 2021 年 7 月的 ERNIE 3.0 放在一起看，最直观的变化是规模：同一套知识增强框架，从 100 亿参数走到 2600 亿参数^[2][1]。规模之外，论文还有两处值得记下的选择。一是理解与生成共用一个模型；二是把蒸馏放进预训练流程内部，也就是说超大模型「训出来之后怎么用」的问题，在预训练阶段就写进了方案^[1]。模型基于百度自研的框架训练，这也让论文成为一份记录：在这个体量上，这套训练栈被推到了什么位置^[1]。