Visualizing and Understanding Convolutional Networks（可视化并理解卷积网络）

数字背后的问题

到 2013 年，大型卷积网络（convolutional network）模型在 ImageNet 这一大规模图像分类基准上已经表现出很强的性能^[1]。但性能并没有伴随着解释：Zeiler 和 Fergus 指出，人们并不清楚这些模型为什么表现这么好，也不清楚该怎样改进它们^[1]。这个空缺有实际后果：如果一次实验只回传一个最终的准确率数字，那么层数、每层的宽度、卷积核大小之类的设计决定就只能靠猜，再由那一个数字来裁决。

把中间层看清楚

卷积网络是一层一层堆起来的。输入图像依次经过各层，每一层把收到的内容重新写成一组成员（特征图），交给下一层使用；整叠层的末端接上一个分类器，由它给出预测。计算主要发生在中间层，而这些层也最难观察——它们的输出既不是图像，也不是答案。

论文提出了一种新的可视化（visualization）技术，用来洞察中间特征层的作用以及分类器的工作方式^[1]。它不只是报告网络给出了什么答案，而是把网络内部的响应变成人可以查看、可以追问的形式：某一层究竟在对什么样的输入作出反应，是简单的图案、纹理，还是更大的结构；分类器又如何利用这些特征得出结论^[1]。

用消融实验量出每一层的贡献

第二种工具是消融实验（ablation study）：去掉或改动模型的一部分，测量性能随之发生的变化，再把差别归到被改动的那一部分上。作者用这种办法考察不同模型层对性能的贡献^[1]。网络不再被当成一个要么有效、要么无效的整块，每一层的价值都变成了可以估计的量。

结果

这两样工具不只是描述性的。论文称，正是借助它们，作者找到了在 ImageNet 分类基准上超过 Krizhevsky 等人的模型架构^[1]。换句话说，从网络内部看到的东西，回头又变成了设计更好网络的依据。

论文还报告，在 ImageNet 上训练的模型能很好地泛化到其他数据集：只把 softmax 分类器（把网络特征转成各个类别得分的最后一层）在新数据集上重新训练，就能在 Caltech-101 和 Caltech-256 上明显超过当时的最好结果^[1]。由于重新学习的只有最后一层，这个结果说明的东西落在特征本身：网络从 ImageNet 学到的东西并不绑定在 ImageNet 的类别上，换一套类别仍然能用。

为什么重要

一是诊断。弄清各层在做什么、哪些层真正承载性能，就把架构设计从猜测变成了测量；论文自己那个更好的架构，正是从可视化、消融、再重新设计这样一轮轮循环里出来的^[1]。二是迁移：在一个数据集上训练出来的模型，其表示在别的数据集上依然有用^[1]。贯穿这两点的是一个论文明确提出的主张——一个好用的模型，也应当是一个能被看清、能被解释的模型；这一主张是这项工作至今仍被引用的重要原因。

发表

论文于 2013 年 11 月 12 日首次提交到 arXiv，此后记录有两次修订：11 月 13 日的 v2 和 11 月 28 日的 v3^[1]。