《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）

要解决的问题

在这篇论文出现的时候，Transformer 架构已经成为自然语言处理中事实上的标准；但在计算机视觉里，它的应用仍然局限于与卷积网络配合使用，或者放在卷积网络内部 ^[1]。卷积——用一个小窗口在图像上滑动、提取局部模式——被当作视觉模型理所当然的基础。论文作者 Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov 与另外 9 位作者把这个疑问直接摆了出来：视觉领域对卷积网络的依赖，究竟是不是必要的？论文于 2020 年 10 月 22 日提交到 arXiv，给出的答案是不必要 ^[1]。

怎么做的

做法是把卷积整个拿掉。一张图像被切成一个个小图块（patch），每个图块像语言模型里的一个词那样，作为序列中的一个元素 ^[1]。这些图块组成的序列被直接送入标准的 Transformer，由模型判断整张图像属于哪一类。除了把图像切成图块这一步之外，模型本身就是一个普通的 Transformer，也就是把纯粹的 Transformer 直接作用在图块序列上 ^[1]。

Transformer 在这里起作用的核心是注意力（attention）：序列中的每个元素在构造自己的表示时，可以同时权衡序列中所有其他元素。因此一个图块并不只能看到紧邻区域的信息，它可以从图像的任意其他位置取用信息。图块与词的这种对应关系，正是论文标题所指的——一张图像等价于 16x16 个词 ^[1]。

论文定义了三种模型规模：ViT-Base 有 8600 万参数，ViT-Large 有 3.07 亿参数，ViT-Huge 有 6.32 亿参数 ^[1]。

结果

ViT 先在大规模数据上做预训练，然后迁移到一系列中型和小型图像识别基准上，其中包括 ImageNet、CIFAR-100 和 VTAB。在这些基准上，它取得了与当时最好的卷积网络相比非常出色的结果 ^[1]。作者同时报告，训练 ViT 所需的计算资源明显少于训练规模相当的卷积网络 ^[1]。

为什么重要

论文的主张很克制，也很明确：视觉领域对卷积网络的依赖是不必要的，因为一个纯粹的 Transformer 直接处理图像图块，就能在图像分类上表现得很好 ^[1]。这松动了一条长期影响视觉模型设计方式的假设，也打开了另一组设计选择——为序列模型发展出来的那套机制，可以在没有卷积主干包在外面的情况下用于图像。

第二个结果有它自己的意义。如果质量相当的模型可以用明显更少的计算资源训练出来 ^[1]，那么搭建和试验这类模型的成本就更低，能够做这类工作的群体也更广。

这个结果依赖什么

那些出色的数字是在一个特定设定下得到的：先在大规模数据上预训练，再迁移到其他识别基准上 ^[1]。论文考察的任务是图像分类 ^[1]。论文公布的三种规模——8600 万、3.07 亿和 6.32 亿参数——说明与卷积网络的比较是在相当大的规模上进行的 ^[1]。

把这几部分合起来看，论文的论证其实很简单：把图像切成图块，把图块当成序列，让注意力在图块之间建立联系，即使不用卷积，也足以取得出色的分类结果 ^[1]。