百度发布 ERNIE 2.0，在 16 项任务上超越 BERT 和 XLNet

背景

2019 年是预训练语言模型发展很快的一年，BERT 和 XLNet 是新系统常用的对照模型。百度的 ERNIE 2.0 关注的是另一个问题：当训练目标不断增加时，模型应当如何持续学习，而不是在一组固定任务上只训练一次。

发生了什么

2019 年 7 月 29 日，ERNIE 2.0 的论文发布在 arXiv 上。百度同时在 GitHub 上发布了英文预训练模型和微调代码。^[1][2]

多任务学习是指让同一个模型同时针对多个训练目标学习，一个目标上学到的东西可以帮助其他目标。预训练任务就是用于无标注文本的训练目标，选择哪些任务、以什么顺序加入，是这类模型的主要设计问题之一。基准测试（benchmark）之所以有用，是因为所有模型都在相同的任务和评分规则下接受测试，读者可以直接比较；但一个综合得分也会掩盖各单项任务之间的差异。

关键细节

ERNIE 2.0 是一个持续预训练（continual pre-training）框架。持续预训练是指模型分阶段持续学习。该框架通过多任务学习（多个训练目标共同训练的方式）逐步加入预训练任务。^[1]

模型在 16 项任务上超过了 BERT 和 XLNet，其中包括 7 项 GLUE 任务和 9 项中文任务。^[2] GLUE 是一个英文的标准基准，把多项语言理解任务合并为一个综合得分。

该工作发表于 AAAI 2020，这是人工智能领域的重要会议。^[3]

2019 年 12 月，百度凭借最新版本的 ERNIE，成为第一支在 GLUE 基准上得分超过 90 的团队。麻省理工学院《技术评论》（MIT Technology Review）指出，普通人在 GLUE 上的得分大约是 87 分。^[4]

影响

百度成为首个在 GLUE 上得分超过 90 的团队，是当时基准测试上的一个重要节点。论文随后在 AAAI 2020 发表，使该方法进入更广泛的研究界视野。^[2][3][4]