Gradient-Based Learning Applied to Document Recognition（基于梯度的学习在文档识别中的应用）

要解决什么问题

这篇综述发表于《Proceedings of the IEEE》第86卷第11期，页码为2278至2324，刊于1998年11月。作者是杨立昆（Yann LeCun）、莱昂·博图（Léon Bottou）、约书亚·本吉奥（Yoshua Bengio）和帕特里克·哈夫纳（Patrick Haffner），来自新泽西州红岸（Red Bank）AT&T实验室研究院的语音与图像处理服务研究实验室。本吉奥同时也在蒙特利尔大学任职。^[1][2]

当时的许多识别系统依赖人工设计的启发式规则和手工提取的特征，而且每个任务都要重新设计。综述的主旨是：更多地依靠自动学习、少依赖人工设计的启发式方法，才能建造更好的模式识别系统。手工特征提取可以由直接作用于像素图像的学习机器取代。^[1]

综述内容

论文回顾了许多手写字符识别方法，并在一个标准的手写数字任务上对它们进行比较。结果表明，卷积神经网络优于所有其他被测试的技术。^[1]

LeNet-5

论文描述了LeNet-5：一个卷积网络，共七层（不计32x32的输入层）。它交替使用卷积层与下采样层，论文中分别标为C1、S2、C3和S4，之后是有120张特征图的卷积层C5、84个单元的F6层，以及10个输出单元。网络有340,908个连接，但可训练参数只有约60,000个，原因是许多连接共享权重。^[2]

MNIST数据集

论文引入了MNIST（“Modified NIST”，修改后的NIST数据集），它由NIST特别数据库第1和第3部分混合而成。其中包括60,000张训练图像，以及论文实验中使用的10,000张测试图像，都是手写数字。数字被归一化为20x20，并居中放在28x28的画面中。^[1][2]

此后，MNIST成了机器学习教学与研究中熟悉的基准数据集。

结果

LeNet-5在MNIST上的测试错误率为0.95%。加入540,000张人工扭曲的训练图像后，错误率降至0.8%。^[1]

图变换网络与支票识别

论文还提出了图变换网络（Graph Transformer Networks）。它让包含分割、识别和语言建模等模块的多模块识别系统，能够用基于梯度的方法进行整体训练，以优化整个系统的一个总体性能指标。^[1]

论文同时描述了一个支票识别系统，它把卷积字符识别器与整体训练结合在一起。该系统投入商业使用，每天读取数百万张支票。^[1]

为什么重要

综述主张从数据中学习特征，而不是靠人工设计。这一主张连接了此前的邮政编码识别工作与卷积网络的设计，而本文对二者都做了总结和扩展。论文中的例子既展示了该方法在标准基准上的效果，也展示了它在商业系统中的应用，与卷积网络的历史密切相关。