《Attention Is All You Need》发布于 arXiv，Transformer 问世

背景

2017 年之前，处理语言和其他序列数据（例如待翻译的句子）的标准方法是循环神经网络（recurrent neural network）。这类网络一次读取一个词元（token），并把前面的信息存在不断向前传递的记忆里。这种逐步推进的设计很难在现代硬件上并行处理整段序列。注意力机制（attention）是一种让网络在生成输出时回看输入中其他位置的方法，此前已经用在这类模型里，但它只是附属组件，而不是设计的核心。

论文共有八位作者，标注为同等贡献，署名顺序随机排列：Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin。^[1] 第一版署名单位显示，Vaswani、Shazeer 和 Kaiser 来自 Google Brain，Parmar、Uszkoreit 和 Jones 来自 Google Research，Gomez 来自多伦多大学，他的工作是在 Google Brain 期间完成的。^[2]

发生了什么

2017 年 6 月 12 日，论文以 arXiv:1706.03762 的编号首次提交到 arXiv 预印本平台。^[1] 论文提出了 Transformer，这是一种序列转换（sequence transduction）架构，即把一个序列变成另一个序列的模型，例如把一种语言的句子译成另一种语言。它完全由注意力机制构成，既没有循环结构，也没有卷积。由于所有位置的计算可以一起进行，它的训练比循环设计更容易并行，速度也更快。^[1]

关键细节

论文的主要实验是机器翻译。在 WMT 2014 英译德任务上，Transformer 得分 28.4 BLEU，比此前的最好结果（包括多模型集成）高出 2 个以上 BLEU。BLEU 是一种常用指标，用来比较机器译文与人工参考译文的接近程度，数值越高越好。^[2]

在英译法任务上，它创造了单个模型的最新最好成绩：第一版为 41.0 BLEU，修订版为 41.8 BLEU。^[2][1] 训练用了 8 块 GPU，耗时 3.5 天，只是此前最好模型训练成本的一小部分。^[2]

作者还把模型用于英语成分句法分析（constituency parsing），这一任务用于分析句子的语法结构。无论训练数据是大规模还是有限，结果都很好。^[1]

论文发表于 NIPS 2017，收录在《Advances in Neural Information Processing Systems 30》中。^[3]

影响

这篇论文最重要的影响在架构层面。去掉循环结构后，计算可以分散到多个处理器上同时进行，因此模型可以用远多于循环模型所能承受的文本量来训练。此后构建的大多数大语言模型都沿用这一设计或其近似变体，同一架构也被用于图像、音频等其他类型的数据。论文本身的实验只涉及翻译和句法分析，它的广泛影响是在随后几年逐步显现的。