《XLNet：面向语言理解的广义自回归预训练》

2019年6月19日，Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov 和 Quoc V. Le 将论文《XLNet：面向语言理解的广义自回归预训练》提交到 arXiv。论文提出 XLNet，一种用于语言理解的预训练方法，并与以掩码破坏输入的预训练方式形成对照。^[1]

要解决的问题

掩码式预训练会遮住一部分词元，让模型根据剩余文本把它们恢复出来。这样模型可以利用被遮位置两侧的语境，但论文指出 BERT 的掩码破坏输入有两个问题：被遮位置之间的依赖关系没有被建模，并且预训练阶段使用被破坏的输入，而微调阶段使用未破坏的文本，两者之间存在预训练—微调差异。^[1] 第一个问题使模型错过掩码位置彼此之间的关系；第二个问题使训练和使用时的输入形式不一致。XLNet 的目标是保留双向语境的好处，同时避免这种被掩码破坏的输入形式。^[1]

方法

XLNet 是一种广义自回归预训练方法。自回归模型把序列的似然分解成若干条件概率的乘积，每个词元根据在选定顺序中位于它前面的词元来预测。XLNet 把这一思路推广到所有分解顺序的排列：它最大化这些排列上的期望似然。对同一个序列，模型不固定为单一的从左到右顺序，而是让不同的排列定义不同的预测顺序；在训练中遍历这些顺序后，一个词元可以以原序列中位于它左边和右边的内容为条件，因此模型能学习双向语境，而不需要用掩码替换词元。这个目标仍然是自回归的，因为每次预测都以所选顺序中较早的词元为条件。论文把这种方法概括为：通过最大化所有分解顺序排列的期望似然，来学习双向语境的广义自回归预训练方法。^[1]

XLNet 还把 Transformer-XL 的思想整合进预训练。论文称 Transformer-XL 是当时先进的自回归模型，XLNet 将其中的思想用于预训练设置，而不是把自回归建模与双向语境看成互斥的两件事。^[1]

实验与结果

预训练数据包括 BooksCorpus 和英文维基百科，两者合计 13GB 纯文本，另外还有 16GB 文本的 Giga5。^[1] 在可比的实验设置下，XLNet 在 20 项任务上优于 BERT，且常常有较大幅度领先。这些任务包括问答、自然语言推断、情感分析和文档排序。^[1] 论文用这些结果说明，广义自回归目标不仅在单一的预训练目标上有效，而且在多种语言理解任务类型上都有表现。^[1]

为什么重要

这篇论文的重要性在于它提出的设计选择。掩码式预训练表明模型可以从双向语境中学习，但掩码会带来预训练与微调之间的差异，并且不建模被遮位置之间的依赖。XLNet 的基于排列的自回归目标提供了另一条路径：它保留自回归分解，又通过对许多分解顺序最大化期望似然，让每个词元接触到不同语境，包括来自两侧的语境。论文还表明，像 Transformer-XL 这样的自回归模型中的思想可以整合进预训练。论文报告的在 20 项任务上与 BERT 的对比，为这种方法提供了实验依据。^[1]