文心 ERNIE 3.0

ERNIE 3.0 是一个大规模预训练语言模型，论文于 2021 年 7 月 5 日提交到 arXiv^[1]。模型有 100 亿参数，训练语料规模为 4TB，由纯文本和大规模知识图谱共同构成^[1]。论文署名作者共 22 位，排在最前面的是 Yu Sun 和 Shuohuan Wang^[1]。

它想解决什么问题

论文作者认为，GPT-3 那类只在纯文本上训练的模型，缺少语言知识和世界知识^[1]。ERNIE 3.0 的思路是保留大规模文本，同时把大规模知识图谱也放进预训练里，让模型在学习语言的同时接触到结构化的世界知识^[1]。知识图谱把事实存成实体以及实体之间的关系，这与连续的文字是两种不同形态的信息；把两者混在一起训练，是希望模型能拿到那些句子本身不会明说的东西。

怎么做的

架构上，ERNIE 3.0 把一个自编码（auto-encoding）网络和一个自回归（auto-regressive）网络融合在同一个模型里^[1]。自编码式训练会遮住输入的一部分，让模型把它还原出来，这种设定偏重理解；自回归式训练按顺序预测下一个词，偏重生成。两者结合之后，同一个模型既能做语言理解任务，也能做生成任务^[1]。落到使用上，就是同一套权重既可以用来对一段文字做分类、匹配或抽取，也可以用来续写和产出文本，而不必为这两类工作分别准备模型。

结果

ERNIE 3.0 在 54 个中文自然语言处理任务上超过了此前的最优模型^[1]。它的英文版本截至 2021 年 7 月 3 日在 SuperGLUE 基准上排名第一，得分 90.6，人类基线为 89.8^[1]。SuperGLUE 由一组较难的语言理解任务组成；分数高过人类基线，意味着模型的答案与参考答案一致的比例比人类对照更高。

放大一档：ERNIE 3.0 Titan

2021 年 12 月，这一路线扩展到 2600 亿参数的 ERNIE 3.0 Titan^[2]。Titan 的论文于 2021 年 12 月 23 日提交到 arXiv，作者 29 位^[2]。摘要称该模型在 68 个自然语言处理数据集上优于当时最先进的模型^[2]，作者把它描述为当时最大的中文稠密预训练模型^[2]，并说明训练使用了 PaddlePaddle 平台和在线蒸馏框架^[2]。蒸馏在这种场景下指的是让一个较小的学生模型在训练过程中模仿大得多的模型的行为，这是让超大模型真正可用的一种办法。

在发展中的位置

2023 年 3 月 ERNIE Bot 向受邀测试者开放时，背后运行的正是 ERNIE 3.0，随后在 2023 年 6 月升级为 ERNIE 3.5^[3]。这条线索也说明了它的意义：一套以知识增强为核心的预训练方案，先以论文形式发表，随后成为面向公众的对话产品的底座，又进一步放大成了 Titan 那样的更大规模版本^[1][2][3]。