Backpropagation Applied to Handwritten Zip Code Recognition（反向传播用于手写邮政编码识别）

要解决什么问题

这篇论文发表于1989年的《Neural Computation》第1卷第4期，页码为541至551。它针对的是一个实际任务：识别美国邮件上手写的邮政编码。论文作者是来自新泽西州霍姆德尔（Holmdel）AT&T贝尔实验室的七人团队：Y. LeCun、B. Boser、J. S. Denker、D. Henderson、R. E. Howard、W. Hubbard和L. D. Jackel。^[1][2]

该团队早先的系统，前几层是人工挑选的。这篇论文则构建了一个网络，从归一化后的图像到最终类别，整个识别任务都由它自己学习。每个连接都通过反向传播学习，网络接收的是图像，而不是人工设计的特征向量。^[2]

数据与结构

数据来自9,298个经过切分的手写数字，取自纽约州布法罗邮局经过的美国邮件上的邮政编码，由美国邮政服务提供。其中7,291个用于训练，2,007个用于测试。每个数字都被归一化为16x16像素的图像。^[2]

网络有三个隐藏层。第一层有12张8x8单元的特征图，每个单元看一个5x5的图像小块，同一张图中的所有单元共享同样的25个权重。作者把这一层描述为带有5x5卷积核的非线性下采样卷积。随后是12张4x4单元的特征图、30个全连接单元，以及10个输出。^[2]

权重共享让需要学习的内容保持在较小规模：网络有1,256个单元和64,660个连接，但只有9,760个独立参数。^[1]

训练与结果

训练对训练集进行了23遍，共计167,693次模式呈现，每看一个模式就做一次随机梯度更新。训练在一台SUN-4/260工作站上进行，耗时约3天。^[2]

网络在训练集上的错误率为0.14%，在测试集上为5.0%，也就是102个错误。作为对照，一个只有一层40个隐藏单元的全连接网络，测试错误率为8.1%。作者认为，这一结果达到了数字识别的当时最高水平。^[2]

训练好的网络运行在一块现成的AT&T DSP-32C数字信号处理器板上，包括图像采集在内，每秒可识别10至12个数字；对归一化后的数字，每秒可识别30个以上。^[2]

为什么重要

这篇论文展示了卷积结构与反向传播训练在真实问题上协同工作，并完整报告了数据与误差结果。作者把成功归因于他们所说的“受约束的反向传播”：前两层被限定为卷积结构，但卷积核的系数由网络自己学习。学到的一些卷积核，与休伯尔和维泽尔（1962年）在生物视觉系统中发现的特征探测器相似。^[2]

后来的影响

这篇论文引入了卷积神经网络这一概念，本档案为此设有独立条目。其设计后来在LeNet-5中被进一步扩展，LeNet-5的论文单独发表。这项工作也说明，在不依赖人工设计的前端层的情况下，学习系统能做到什么，而后来的卷积网络研究沿着这一问题继续推进。