文心 ERNIE 3.0 Titan

是什么

文心 ERNIE 3.0 Titan 是一个面向中文的大型预训练语言模型（pre-trained language model）。它的论文于 2021 年 12 月 23 日发布在 arXiv 上，编号 2112.12731，作者来自百度和鹏城实验室^[1]。模型的参数规模超过 2600 亿，其中通用表示模块采用 48 层结构、12288 个隐藏单元^[1]。作者把它称为当时规模最大的中文稠密预训练模型^[1]。所谓「稠密」（dense），指的是每处理一个输入都会用到网络中的全部参数，与之相对的是每次只激活部分网络的设计。arXiv 页面显示这篇论文共有 29 位作者^[1]。

这样规模的模型不是凭空出现的。Titan 建立在百度的深度学习平台飞桨（PaddlePaddle）之上，是对 2021 年 7 月提出的 ERNIE 3.0 框架的放大^[1][2]。按作者的说法，早先那套框架已经产出了一个 100 亿参数的模型，并在当时超过了此前的先进系统^[1]。Titan 沿用了同一套训练思路，把规模再往上推了一个量级。

怎么训练的

论文在这套框架之外引入了两项训练技术。第一项是自监督对抗损失（self-supervised adversarial loss）。它的作用是构造一种训练信号，推动模型学出更难被「糊弄」的表示，从而在不需要人工标注数据的情况下让学到的特征更稳健。第二项是在线蒸馏（online distillation）框架：让较小的「学生」模型在训练过程中就向一个大的「教师」模型学习，而不是等训练全部结束之后再蒸馏^[1]。在这个设计里，教师模型不是被冻结的——它在教学生的同时自己也继续训练^[1]。作者给出的动机之一是减少计算量和碳排放：昂贵的大模型把学到的东西转移给运行成本更低的小模型，整体上更省^[1]。

Titan 还加入了一项可控语言建模损失（controllable language modeling loss），目的是让模型生成的文本更可信、也更可控^[1]。只用「预测下一个词」训练出来的语言模型，输出可能流畅但不可靠；增加一个以「可控」为目标的学习项，是引导生成的一种办法。

报告的结果

作者报告说，Titan 在 68 个自然语言处理数据集上超过了当时的先进模型^[1]。这一个数字同时覆盖两类任务：一类是理解类任务，也就是 ERNIE 系列此前为人熟知的那类分类与抽取问题；另一类是生成类任务。这也正是论文副标题把这项工作定位为「面向理解与生成的大规模知识增强预训练」的原因^[1]。

为什么重要

与其把 Titan 看作一个独立的系统，不如把它看作一次针对特定框架的规模化实验。2021 年 7 月的 ERNIE 3.0 框架确立了训练配方，Titan 要回答的问题是：把这套配方用到 2600 亿参数上会怎样。作者给出的答案是，在很多基准上都有普遍提升^[1][2]。有两点值得留意。第一，它是在飞桨技术栈上训练的中文模型，代表了当时被讨论得更多的英文中心系统之外的另一条路线^[1]。第二，论文对蒸馏以及降低计算与排放的重视，把大模型的成本当作一个正经的工程问题来处理，而不是事后再补^[1]。

对 ERNIE 系列自身而言，Titan 标志着这个模型家族从百亿参数区间跨入千亿参数区间，同时保留了知识增强预训练的思路和同一套底层平台^[1][2]。它处在一个变化很快的序列中：论文发表于 2021 年 12 月，距离它所扩展的框架只过去了几个月^[1][2]。阅读时应当把文中的基准成绩理解为作者在当时自行测得的结果，把「最大」的表述理解为论文写作时对中文稠密模型的判断^[1]。