谷歌研究者在 arXiv 发布 BERT 论文

背景

早期语言模型通常只按一个方向读取文本，一般是从左到右，因此每个词只能依据它前面的词来预测。问答这类任务的答案往往取决于一个词两侧的语境，单向设计处理起来比较吃力。Transformer 架构为同时考察各个方向语境的模型提供了灵活的基础。

发生了什么

2018 年 10 月 11 日，Jacob Devlin、Ming-Wei Chang、Kenton Lee 和 Kristina Toutanova 四位谷歌研究者把论文提交到 arXiv。^[1] BERT 是 Bidirectional Encoder Representations from Transformers 的缩写，意为基于 Transformer 的双向编码器表示。它在无标注文本上预训练深层双向表示，在每一层都同时利用左右两侧的语境。^[1]

预训练好的 BERT 只需再增加一个输出层，就可以微调用于问答、语言推理等任务，无需对任务专用的架构做大的修改。^[1]

微调（fine-tuning）是指：拿一个已经在大量无标注文本上训练过的模型，再用一个较小的标注数据集，针对某项任务继续训练。唯一新增的部分是输出层，这也是论文说架构改动很小的原因。^[1]

关键细节

论文报告，BERT 在 11 项自然语言处理（NLP）任务上都取得了新的最好成绩。其中，GLUE 综合得分达到 80.5%，绝对提升 7.7 个百分点；MultiNLI 的准确率为 86.7%，提升 4.6 个百分点。^[1] GLUE 是一组语言理解任务的综合基准，得分综合了各项任务的结果。

在问答基准 SQuAD v1.1 上，BERT 的测试 F1 值达到 93.2，比此前提高 1.5 分；在 SQuAD v2.0 上达到 83.1，提高 5.1 分。^[1] F1 值综合了精确率和召回率，数值越高越好。

谷歌的博客指出，SQuAD v1.1 上 93.2 的 F1 值超过了此前最好的 91.6，也超过了人类水平的 91.2。^[2]

2018 年 11 月 2 日，谷歌开源了 BERT，发布了 TensorFlow 源代码、预训练代码以及几个仅支持英语的预训练模型。^[2] 谷歌表示，借助这次发布，任何人都可以在一块 Cloud TPU 上用约 30 分钟，或在一块 GPU 上用几小时，训练出达到当时最好水平的问答系统。^[2]

影响

BERT 让「预训练加微调」的做法更容易被他人复用。代码和预训练模型公开后，研究者和开发者可以从一个较强的模型出发，而不必从零训练。不过，首批发布的模型只支持英语，其他语言的工作需要另外的模型。这些分数是在公开基准上测得的；谷歌博客以人类水平作为参照，说明这类分数应当理解为模型与人类在同一测试上的对比。

GLUE 和 SQuAD 等基准随后成为比较语言模型的常用工具，分数高往往被视为进步。但固定测试集上的分数并不能涵盖模型的全部能力，应当把它看作这些具体任务上的证据。