文心 ERNIE 2.0

是什么

文心 ERNIE 2.0 是百度提出的预训练语言模型。描述它的论文于 2019 年 7 月 29 日发布在 arXiv 上，编号为 1907.12412，随后发表于 AAAI 2020，收录在《Proceedings of the AAAI Conference on Artificial Intelligence》第 34 卷第 05 期，第 8968–8975 页^[1][2]。论文作者是 Yu Sun、Shuohuan Wang、Yukun Li、Shikun Feng、Hao Tian、Hua Wu 和 Haifeng Wang^[1]。

与同代的其他预训练模型一样，它先在大规模文本上做预训练，再适配到具体的下游任务。ERNIE 2.0 的不同之处，在于它让模型在预训练阶段学什么。

怎么做的

核心是一个「持续预训练」（continual pre-training）框架：预训练任务不是一次性固定的一组目标，而是逐步构建，并通过持续多任务学习（continual multi-task learning）来掌握^[1]。这些任务覆盖词汇层面、句法层面和语义层面，而不只是词与句的共现关系^[1]。

模型整合了 7 类预训练任务，目标包括命名实体、句子顺序、句子距离、语义相似度和篇章关系^[3]。为了让一个模型同时处理多种任务，输入表示由词嵌入、句嵌入、位置嵌入和任务嵌入相加而成^[3]。

《MIT Technology Review》把百度最新版本的 ERNIE 描述为「遮蔽一串字符而不是单个字符」^[5]。该版本还被训练去区分有意义的字符串和随机字符串，从而自己判断该遮蔽哪些组合^[5]。它进一步考虑了句子顺序以及句子之间的距离，并用持续训练来学习新数据和新任务，而不遗忘此前学到的东西^[5]。

百度研究院首席架构师 Hao Tian 表示，团队最初是从中文的特点出发考虑问题，但后来发现这一方法同样适用于中文以外^[5]。

结果

论文报告称，该模型在 16 项任务上超过了 BERT 和 XLNet，其中包括英文 GLUE 任务和若干中文任务^[1]。作为单体模型，ERNIE 2.0 在 7 项 GLUE 任务上胜过 BERT 和 XLNet，在全部 9 项受测中文自然语言处理任务上胜过 BERT，其中包括 DuReader 阅读理解；其大模型版本在中文任务上取得了当时的最好成绩^[3]。

2019 年 12 月，百度 ERNIE 的最新版本登顶 GLUE 排行榜，使百度成为首个得分超过 90 分（满分 100）的团队；普通人大约得 87 分^[5]。GLUE 是一组英文语言理解任务的集合，常被用作衡量这类模型的统一标尺，因此榜单位置会受到关注。

在发展中的位置

源代码和预训练模型发布在 GitHub 的 PaddlePaddle/ERNIE 仓库中^[1][4]，这样其他人可以直接下载权重、复现或扩展这项工作，而不只是阅读论文里的数字。

ERNIE 2.0 是 2019 年 3 月发布的 ERNIE 1.0 的后继版本，之后又于 2021 年 7 月推出 ERNIE 3.0^[3][6]。在这一系列中，它所处的位置是：百度从依赖词与句的共现，转向一套逐步加入的任务安排，覆盖实体、句子关系和篇章结构，同时引入一种持续吸收新数据又不丢弃旧训练成果的机制^[1][5]。