BERT

BERT 是什么

BERT 全称 Bidirectional Encoder Representations from Transformers（双向编码器表示），是一个只用编码器（encoder）的 Transformer 语言模型。编码器读入一段文字，把每个词变成一个数值表示，这个表示带着它周围词语的信息；编码器本身不生成文字，它的输出会接到一个针对具体任务的输出层上。

这个模型出自 Google AI Language。Jacob Devlin、Ming-Wei Chang、Kenton Lee 和 Kristina Toutanova 的论文于 2018 年 10 月 11 日发布在 arXiv 上，Google 则在 2018 年 11 月 2 日开源了代码和预训练模型。^[1]

遮盖与双向

BERT 与同期预训练模型的分野，在于它用多少上下文。同一时期的 OpenAI GPT 从左往右读文本，每个词只通过它前面的词来理解。BERT 则从网络最底层开始，就同时使用每个词左右两侧的上下文。^[1]

难点在训练目标上。让模型预测下一个词，天生只能顺着一个方向做；而如果模型能看到答案，这个任务就没有什么可学的。BERT 的办法是把输入中的一部分词盖住，让模型根据周围的词把它们还原出来。^[1] 被盖住的词不在输入里，模型就必须同时借助左边和右边的上下文去猜。正是这一点让深度的双向训练成为可能。

预训练完成后，模型会在某个任务的标注数据上做微调（fine-tuning），例如回答问题，或者判断两句话之间是否构成蕴含关系。

公开发布的模型有两个规模。BERT-Base 有 12 层、768 个隐藏单元、12 个注意力头，1.1 亿参数；BERT-Large 有 24 层、1024 个隐藏单元、16 个注意力头，3.4 亿参数。两者都在维基百科和 BookCorpus 上预训练。^[1]

结果

Google 公布的成绩是：在 SQuAD v1.1 问答基准上 F1 达到 93.2%，高于此前最好成绩 91.6%，也高于人类水平的 91.2%；在包含 9 项语言理解任务的 GLUE 基准上，绝对提升为 7.6 个百分点。^[2] 开源公告称 BERT 在 11 项自然语言处理任务上取得了当时的最好结果。^[2]

Google 同时强调了微调所需算力之少：一个当时最好的问答系统，在单块 Cloud TPU 上约 30 分钟就能训练出来，在单块 GPU 上则只需几个小时。^[2] 预训练代价高，但只需要做一次；把结果迁移到新任务上则很便宜。正是这种分工，让很多研究组和小团队也能用上这个模型。

发布与后续版本

所有代码和模型都以 Apache 2.0 许可发布。2018 年 11 月，覆盖 104 种语言的多语言模型和中文模型相继推出；2019 年 5 月发布了整词遮盖（Whole Word Masking）模型，2020 年 3 月又发布了 24 个更小的 BERT 模型。^[3] 最初的版本只包含英语预训练模型，源代码构建在 TensorFlow 之上。^[2] 这篇论文获得了 NAACL 2019 的最佳长论文奖。^[5]

进入搜索之后

2019 年 10 月 25 日，Google 宣布 BERT 已被用于搜索，帮助系统理解约十分之一的美国英语搜索 query。Google 称这是「过去五年里最大的一次飞跃」。^[4]

放到更长的时间尺度上看，BERT 标志着一种做法的更替：过去每个任务都要单独搭一套系统，此后则是一个预训练好的编码器加上少量针对任务的训练。它的遮盖式训练目标和微调流程成了语言模型工具箱里的标准部件；从多语言、中文、整词遮盖到更小的模型，这条发布线索也说明了它后来的走向——覆盖更多语言，让使用成本更低。