Transformer 架构

它是什么

Transformer 是一种神经网络架构，可以理解为模型各个部分如何连接的设计图。它在 2017 年 6 月的论文《Attention Is All You Need》（中文标题为「注意力就是你所需要的」）中提出，作者是 Google Brain 和 Google Research 的八位研究人员。^[1] 它最关键的改动，是完全去掉了循环结构（RNN 和 LSTM）和卷积结构，只依靠自注意力（self-attention）来处理序列。^[1]

它是怎么工作的

模型先把文本切分成词元（token），再把每个词元转换成一串数字，叫作词嵌入（embedding）。接下来，自注意力让每个词元去查看序列里的所有其他词元，判断它们对自己的含义各有多重要。注意力本身不认识词的先后顺序，所以模型还要在词嵌入上叠加位置编码（positional encoding），告诉每个词元它所处的位置。原论文采用的是正弦形式的位置编码。^[1]

用一个小例子来说明。在「猫坐在垫子上，因为它累了」这句话里，代词「它」指的是谁？训练得当的注意力层在构造「它」的表示时，会给「猫」较高的权重，给「垫子」较低的权重。这只是帮助理解思路的示意，并不是对某个具体模型的测量。

原始设计包含编码器（encoder）和解码器（decoder）两部分，各自由 6 个结构相同的层堆叠而成。每一层都有多头自注意力（multi-head self-attention）和逐位置的前馈网络（position-wise feed-forward network），中间配有残差连接（residual connection）和层归一化（layer normalization）。在基础模型中，多头注意力会并行运行 8 组注意力操作，使模型能够同时捕捉不同类型的关系。训练时，序列中的所有位置都是并行处理的。^[1]

它从哪里来

在它出现之前，语言模型常用的结构是循环神经网络，这种网络要一步一步地读完文本。这篇论文提出的做法，是完全基于注意力来构建整个模型，不再使用循环或卷积。^[1]

此后，这一架构很快分化出几条路线。2018 年的 BERT 只使用编码器；从 2018 年起的 GPT 系列只使用解码器；2019 年的 T5 则保留了完整的编码器加解码器结构。^[2]

今天用在哪里

这一架构也走出了文本的范围。2020 年的 Vision Transformer 把它用于图像。^[3]此外，它还被用于音频和机器人领域。^[2]

局限

Transformer 是一组设计选择，而不是自然规律。它本身没有顺序概念，所以离不开外加的位置编码。它在文本上取得的成功，并不能说明它最适合每一种数据。它被推广到图像、音频和机器人等领域，说明这套设计可以被复用，但并不意味着在每个领域的效果都一样好。理解 Transformer，关键在于分清哪些部分是固定的，哪些部分可以替换或改进。