《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）

它要挑战的假设

论文摘要开门见山地交代了背景：Transformer 架构已经成为自然语言处理任务事实上的标准，但它在计算机视觉上的应用仍然有限 ^[1]。而在视觉领域里用到注意力（attention）的时候，要么是把它和卷积网络结合起来用，要么是用它替换卷积网络的某些组件、同时保留卷积网络的整体结构 ^[1]。换句话说，卷积仍然被当作承重墙。作者要检验的正是这一点：对卷积网络的这种依赖究竟是不是必要的 ^[1]。

把图像当成一串小块

作者给出的回答是：不必要。一个纯粹的 Transformer 直接作用在图像小块（patch）组成的序列上，就能在图像分类任务上表现得很好 ^[1]。由此得到的模型叫 Vision Transformer，简称 ViT ^[1]。

理解这个做法最方便的入口就是论文标题本身——它把一张图看成一串 16×16 的「词」。图像被切成固定大小的小块，每一块转成一个向量，这些向量排成序列送进 Transformer，就像一句话被拆成词向量送进去一样。

用 Transformer 的道理在于，它对输入的结构几乎不作假设。它的核心运算是注意力：序列里每个元素都可以去看其他所有元素，按学到的权重把信息加权组合起来，于是模型可以自己决定图上哪些部分需要和哪些部分发生关系。卷积网络则不同，它的基本结构是一个在图像上滑动的固定局部窗口。ViT 保留了 Transformer 的整套机制，把卷积的脚手架整个拿掉。

结果

论文的核心实证结论是一个比较。当模型先在大规模数据上预训练，再迁移到多个中型或小型图像识别基准上时——摘要点名的是 ImageNet、CIFAR-100 和 VTAB——ViT 取得了与当时最好的卷积网络相比非常出色的结果，而训练所需的计算资源显著更少 ^[1]。这两半都很重要：准确率那一半说明，一个完全不含卷积的模型在标准识别任务上是有竞争力的；资源那一半说明，达到这个水平并不需要比卷积方案更多的算力。

为什么重要

长期以来，视觉模型的设计是围绕卷积组织的，注意力只是附加在卷积网络之上、或者嵌进去替换某一部分的东西 ^[1]。这篇论文的贡献在于指出这是一种选择而不是必需：那套已经成为文本处理标准的架构，可以直接对准像素并且管用 ^[1]。这让两个领域之间的界线变成了数据表示方式的问题，而不是架构的问题，也让视觉研究者多了一个可以继续搭建的模型家族。

作者同时把工作做成了可以直接用的东西。论文说明微调代码和预训练模型放在 google-research 的 vision_transformer 仓库里 ^[1]，别人可以复现结果，也可以在自己的数据上微调模型，而不只是读一读结论。

版本与记录

论文作者是 Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit 和 Neil Houlsby ^[1]。文章于 2020 年 10 月 22 日提交到 arXiv，编号 2010.11929，分类为计算机视觉与模式识别，并在人工智能和机器学习下交叉列出 ^[1]。arXiv 记录显示还有 2021 年 6 月 3 日的第二个版本，说明是 ICLR 的定稿版本，做了两处小修改 ^[1]。

这篇论文没有解决的，是规模的问题。它的结论是有条件的——要先用大规模数据预训练，再迁移到较小的基准上 ^[1]；它报告的比较也限于图像分类 ^[1]。这些条件既界定了这条结论的分量，也划出了留给后续工作的空间。