文心 ERNIE 1.0

是什么

文心 ERNIE 1.0（Enhanced Representation through kNowledge IntEgration）是百度以 ERNIE 为名发布的第一代预训练语言模型。它于 2019 年 3 月发布，代码和模型在 GitHub 上开源，运行在百度的飞桨（PaddlePaddle）深度学习框架上^[1]。由 Yu Sun、Shuohuan Wang、Yukun Li、Shikun Feng 等人署名的论文，于 2019 年 4 月 19 日发布到 arXiv^[2]。

思路：不只遮住单个字

预训练语言模型是这样一类网络：先让它自己在没有人工标注的大量文本上读一遍，再把它接到问答、情感分析之类的具体任务上。最常见的自监督练法是掩码语言模型（masked language model）：把输入的一部分遮起来，让模型根据上下文把它补回去。BERT 让这套做法流行起来，而和当时多数中文模型一样，ERNIE 是以字为单位而不是以词为单位处理的^[1]。

ERNIE 保留了 BERT 的掩码语言模型预训练，但加上了作者所说的「知识掩码」（knowledge masking）：除了遮住单个字，还做实体级掩码和短语级掩码^[2]。实体级掩码遮住的是实体，而实体通常由多个词构成；短语级掩码遮住的是整个多词短语^[2]。这样设计的假设是：要把一整个命名实体或一整个短语补回来，光靠相邻字的统计规律不够，模型必须动用它对事物之间关系的理解。

Synced 举过一个例子：面对「Harbin」（哈尔滨）中被遮住的一个字，BERT 学到的是把这个字补回来；而 ERNIE 学到的是哈尔滨是黑龙江的省会，是一座以冰雪闻名的城市^[1]。

训练数据

ERNIE 用多来源的中文数据训练，包括百科条目、新闻和论坛对话；模型以字为单位^[1]。把百科文本和新闻、口语化对话混在一起，让预训练见过不同语体：百科提供实体级掩码所需要的那些事实搭配，新闻和论坛文本则提供模型同样要处理的日常句式。

结果

作者报告在五项中文自然语言处理任务上取得了新的最好成绩，其中包括自然语言推理（natural language inference）、语义相似度（semantic similarity）、命名实体识别（named entity recognition）、情感分析（sentiment analysis）和问答（question answering），并在一项完形填空测试（cloze test）上表现出更强的知识推理能力^[2][1]。论文摘要称，ERNIE 在完形填空测试上具有更强的知识推理能力^[2]。

论文

arXiv 页面列出十位作者：Yu Sun、Shuohuan Wang、Yukun Li、Shikun Feng、Xuyi Chen、Han Zhang、Xin Tian、Danxiang Zhu、Hao Tian 和 Hua Wu^[2]。这是一篇 8 页的预印本，归在计算与语言（cs.CL）分类下^[2]。

名字

这个名字是在向 BERT 的同名出处《芝麻街》致敬^[1]。

为什么重要

ERNIE 1.0 改的是现成的配方，而不是提出新架构：改动落在预训练目标上，而预训练目标决定模型因为学会什么而受到奖励。遮住实体和短语，把这个目标往概念之间的关系上推，而不只是相邻字的共现。对中文来说，词与词之间没有空格标记边界，单个字又常常含义模糊，这一区别的分量更重：一个只会补单个字的字级模型，可以在表面统计上拿到好成绩，却从未被迫对某个事实作出判断。这一结果也说明，推动榜单数字的是预训练数据和掩码策略，而不只是模型规模；它把一个中文模型送上了中文评测的榜首^[2][1]。

在发展中的位置

ERNIE 1.0 在 2019 年 7 月被 ERNIE 2.0 取代，后者用持续多任务预训练（continual multi-task pre-training）框架替换了固定的预训练任务^[3]。