卷积神经网络

是什么

卷积神经网络（CNN，convolutional neural network）是专门处理图像等网格状数据的神经网络。它不让每个单元连接输入的全部内容，而是每个单元只看下一层的一小块区域。1998年，杨立昆（Yann LeCun）、莱昂·博图（Léon Bottou）、约书亚·本吉奥（Yoshua Bengio）和帕特里克·哈夫纳（Patrick Haffner）把这一设计概括为三个要点：局部感受野（local receptive field）、权重共享（shared weights）和空间下采样（spatial sub-sampling）。^[2]

怎么工作

可以想象一个小型“探测器”，它的感受范围是一个例如5x5像素的小块，专门寻找其中的短斜线边缘。探测器依次检查图像的每个位置，得到一张特征图（feature map），标出边缘出现的地方。同一张特征图中的所有单元使用相同的权重，因此这张图能在任何位置找到同一种特征。这种权重共享使该操作成为卷积，再加上一个非线性函数。^[2]

权重共享还大幅减少了需要学习的参数。1998年的LeNet-5有340,908个连接，但可训练参数只有约60,000个。由于输入图像平移时，特征图也只是相应地平移，网络对图像的平移和变形有较强的稳健性。^[2]

下采样层（sub-sampling，也称池化层）会降低特征图的分辨率，使特征的精确位置不那么重要。卷积层与下采样层交替出现，随着分辨率下降，特征图的数量也随之增加。最后，网络把检测到的特征汇总为判断结果。^[2]

从哪来

1998年的论文列出了两个来源。一是休伯尔（Hubel）和维泽尔（Wiesel）的发现：猫的视觉皮层中有对局部区域敏感、对方向有选择性的神经元。二是福岛邦彦（Kunihiko Fukushima）1980年的新认知机（Neocognitron），它的分层结构与此相似，但没有反向传播这类全局监督的学习过程。^[2]

1989年，杨立昆与同事在美国电话电报公司（AT&T）的贝尔实验室（Bell Laboratories），用反向传播对这样一个受约束的网络进行端到端训练，任务是识别美国邮件上手写的邮政编码数字。^[1]

关键里程碑

1989年的系统在测试集上的错误率为5.0%，网络有1,256个单元、64,660个连接和9,760个独立参数。^[1]

LeNet-5在MNIST手写数字数据集上的测试错误率为0.95%；若使用额外的人工扭曲图像训练，错误率降至0.8%。基于卷积网络的支票识别系统也投入商业使用，每天读取数百万张支票。^[2]

今天用在哪里

2012年，AlexNet在ImageNet ILSVRC-2012竞赛中获胜。它是一个规模大得多的卷积网络，有五个卷积层和6000万个参数，在GPU上训练，前5错误率（top-5 error）为15.3%，而第二名为26.2%。^[3]

ACM 2018年图灵奖的颁奖词把卷积网络描述为计算机视觉领域的行业标准。颁奖词还提到它在语音识别、语音合成、图像合成和自然语言处理中的应用，以及自动驾驶和医学影像分析等场景。^[4]

局限

卷积网络假定有用的证据是局部的：特征是小范围内的图案，同一图案可以在图像中反复出现。这一假定适合图像，但对其他类型的数据未必自然。池化会丢弃精确位置，这有利于识别，却不利于需要精确定位的任务。此外，训练通常需要大量标注样例和可观的计算资源。