百度发布知识增强语言模型 ERNIE

背景

到 2019 年，预训练语言模型已成为自然语言处理的核心方法之一。这类模型先在大规模文本上训练，再应用于具体任务。谷歌的 BERT 是其中使用最广的模型之一。

发生了什么

2019 年 3 月，百度发布了 ERNIE，并在 GitHub 上开源了代码和模型。模型基于百度的深度学习框架飞桨（PaddlePaddle）运行。^[1]

预训练是指模型先在大量无标注文本上学习语言的一般规律，常见做法是让模型预测被遮盖的词。学成之后，模型可以再用少量有标注的示例针对具体任务进行调整。文中提到的几项中文任务都是自然语言处理的标准任务：自然语言推理判断一句话能否推出另一句话；语义相似度衡量两句话的意思有多接近；命名实体识别从文本中找出人名、地名和机构名；情感分析判断一段文字是正面还是负面；问答匹配则判断候选答案是否与问题相符。

关键细节

BERT 从原始字符信号中学习，而 ERNIE 直接建模实体（指具体的人、地点、机构等事物的名称）和短语等既有的语义知识单元。^[1] 百度报告称，在中文自然语言推理、语义相似度、命名实体识别、情感分析和问答匹配等任务上，ERNIE 都优于 BERT。^[1]

训练数据来自百科文章、新闻和论坛对话。^[1] ERNIE 这个名字借用了 BERT 在《芝麻街》中的角色名。^[1]

相关论文于 2019 年 4 月 19 日发布在 arXiv 上，报告称在五项中文自然语言处理任务上取得了新的最优结果（state of the art）。^[2]

影响

论文报告了在五项中文自然语言处理任务上的最优结果，代码和模型也通过 GitHub 向所有人开放。ERNIE 这个名字后来被沿用到百度的其他模型上。^[1][2]