百度推出百亿参数的 ERNIE 3.0

背景

先在大规模文本上预训练、再针对具体任务微调，是这一时期构建语言模型的主流路线。ERNIE 3.0 的论文对这套做法里的两个前提提出了质疑。论文认为，只在大规模纯文本上训练的预训练模型，缺少显性的语言学知识和世界知识^[1]。论文还认为，纯粹的自回归（auto-regressive）预训练——也就是让模型学习预测序列中的下一个词——会使模型在语言理解任务上微调时表现偏弱^[1]。

发布了什么

2021 年 7 月 5 日，百度的研究人员把 ERNIE 3.0 的论文发布到 arXiv 上^[1]。这个模型有 100 亿参数^[1]。参数是网络内部学到的数值，参数量常被用来粗略衡量模型的规模。训练使用了 4TB 的纯文本语料，外加一个大规模知识图谱（knowledge graph）^[1]。知识图谱以结构化的方式存储实体以及实体之间带类型的关系，而不是把知识散落在句子里，因此它提供的正是纯文本不会直接讲明的那类知识。

怎么做的

模型的架构把两类网络放在一起：自编码网络和自回归网络^[1]。自编码网络的任务是依据上下文还原输入中被遮盖或损坏的部分，要做好这件事，它必须对整句话形成整体表示，因此适合分类这类理解任务。自回归网络的任务是根据前面的词生成下一个词，这正是文本生成所需要的。ERNIE 3.0 把两者结合起来，让同一个模型既能做理解任务，也能做生成任务^[1]。这个设计直接回应了论文提出的第二点质疑：如果预训练完全是自回归式的，得到的模型就是为生成而训练的，作者认为这样的模型在针对理解任务微调时会偏弱。

结果

论文报告说，该模型在 54 项中文自然语言处理任务上超过了此前的最高水平^[1]。它的英文版截至 2021 年 7 月 3 日在 SuperGLUE 榜单上排名第一，得分 90.6，高于 89.8 的人类基线^[1]。SuperGLUE 是一组语言理解任务，并附有一个公布的人类基线，也就是对人在同样题目上得分的估计；因此超过这个数字，意味着按这一估计衡量已经超过人类表现，而不只是超过了其他模型。

意义

这篇论文同时提出两个主张：预训练除了原始文本，还应当带上结构化的知识；理解和生成也不应当被压缩进单一的自回归目标里。ERNIE 3.0 就是为支撑这两点而做出来的模型。SuperGLUE 上的名次给第二个主张提供了一次外部检验，因为那是公开榜单而非内部评测；54 项中文任务则说明同一套思路在百度产品主要服务的语言上同样成立。合起来看，这些结果描述的是一个在论文发表时，无论在中文任务集合还是英文理解基准上都与当时最好的系统相当的模型^[1]。