Very Deep Convolutional Networks for Large-Scale Image Recognition

要解决的问题

卷积网络（convolutional network，常缩写为 ConvNet）是图像识别的常用结构：一层层的滤波器在图像上滑动，每一层把上一层得到的特征图组合成更抽象的模式，最后再把这些模式归到一个类别上。随之而来的问题是：层数越多是否一直越有用，深度到底能推到什么程度？这篇论文就是在受控的条件下评估深度递增的网络。^[1]

做法

整套设计的核心是卷积核尺寸——网络自始至终只使用 3×3 的很小卷积核。^[1]只有把这一点固定住，深度的比较才有意义：3×3 的卷积核一次只能看到图像上一个很小的邻域，单层捕捉的是非常局部的模式，靠层数把这些局部模式逐级组合起来，网络才能表达更大的结构。在这个前提下，作者训练了深度不同的若干配置并相互比较，最终把深度推到 16–19 个权重层；摘要称，这一深度相对此前最好的配置有显著提升。^[1]论文于 2014 年 9 月 4 日首次提交到 arXiv，2015 年 4 月 10 日完成最后一版修订。^[1]

结果

这些结论构成了团队参加 ImageNet Challenge 2014 的基础。分类赛道要判断一张图属于哪一类，定位（localisation）赛道要标出图中物体的位置；在那次比赛中，团队在定位赛道拿到第一，在分类赛道拿到第二。^[1]全文给出了分类的具体数字：用 7 个模型做集成（ensemble）时测试错误率为 7.3%，后来用 2 个模型的集成把错误率降到 6.8%。^[2]作者把这一成绩描述为与分类冠军 GoogLeNet 的 6.7% 错误率相当，并称其明显优于 2013 年的冠军 Clarifai——后者在使用外部训练数据时为 11.2%，不使用时为 11.7%。^[2]

怎么读这些数字

集成就是把若干个网络的预测合并起来，通常比只跑一个模型更费计算，但往往能把错误率压低。这里有两个细节值得注意。其一，最主要的分类成绩来自集成而不是单个网络；其二，其中最好的 6.8% 只用了 2 个模型，比 7.3% 那一档用的 7 个模型更少。^[2]与 2013 年冠军的对比还区分了两件容易混淆的事：允许使用比赛数据之外的外部训练数据时的错误率，以及不允许使用时的错误率。^[2]把这两组数字分开看，才能公平地衡量这一年到底进步了多少。

为什么重要

它的配方简单得几乎可以一句话说完：很多层、全部用 3×3 卷积核、系统地改变深度。正是这种简单让结论清楚——相对于更早的配置，深度本身就贡献了相当一部分提升。^[1]对后来的研究同样重要的是，作者把两个表现最好的模型公开了出来。^[1]公开的权重让其他研究者可以核对论文里的数字，可以从一个已训练好的网络出发而不是从零开始，也可以把新结构与一个固定且有据可查的基线做比较。比起榜上的名次，这项贡献更安静，却让模型在比赛结束之后继续有用。