Attention Is All You Need（注意力就是你所需要的）

要解决的问题

当时常用的语言模型工具之一是循环神经网络（recurrent network），它按顺序逐词处理文本，并一步步携带着前文的记忆。这种设计有两个代价：训练很难同时分摊到多个处理器上，因为每一步都要等前一步完成；而且一个长句开头的信息要经过很多步才能影响后面的词，长距离的依赖关系因此很难学会。^[1]

这篇论文的思路是：注意力（attention）本身能否胜任全部工作。注意力是一种让网络依据相关程度给输入的不同部分分配权重的机制。

方法

论文提出了 Transformer，整个模型完全由注意力构成，既没有循环结构，也没有卷积。在自注意力（self-attention）中，每个词会被转换为三个向量：查询（query）描述它在寻找什么，键（key）描述它能提供什么，值（value）承载它的内容。每个词都用自己的查询与句中所有的键进行比较，输出则是各个值的加权平均。由于每个词都能一步看到其他所有词，整句话可以一起处理，这也更适合 GPU 等并行硬件。^[1]

论文共有八位作者：Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin，他们来自 Google Brain 和 Google Research。论文注明作者贡献相同，作者顺序是随机的。^[1]

论文于 2017 年 6 月 12 日提交到 arXiv，并发表于 NeurIPS 2017。^[1]

结果

在机器翻译任务上，Transformer 刷新了当时的最好成绩：英译德（WMT 2014）达到 28.4 BLEU，英译法达到 41.8 BLEU。BLEU 是一种常用指标，通过比较机器译文与人工参考译文的相似程度打分，分数越高越好。大模型只用八块 GPU 训练了 3.5 天，成本只是此前最好模型的一小部分。作者还在英语句法成分分析（constituency parsing）上做了测试，以说明这一设计并不局限于翻译。^[1]

为什么重要

此后大多数大语言模型都建立在这一架构之上，包括 OpenAI 的 GPT 系列；它也成为众多 AI 系统的主要架构。^[3] 这篇论文与其说是一个具体模型，不如说是一份共享的蓝图。后来的系统在细节上做了许多改动，但以注意力为核心的设计思路一直处于这个领域的中心。

后来的影响

多位作者后来创办或联合创办了 AI 公司，论文的影响因此超出了学术圈。^[1] 对初学者来说，它也是在了解神经网络训练的基本概念之后，很自然的一篇起点论文。