Learning representations by back-propagating errors（通过反向传播误差学习表示）

要解决什么问题

这篇论文发表于《Nature》第323卷第533至536页，刊于1986年10月9日那一期。作者是加利福尼亚大学圣地亚哥分校认知科学研究所的大卫·鲁梅尔哈特（David E. Rumelhart）和罗纳德·威廉姆斯（Ronald J. Williams），以及卡内基梅隆大学计算机科学系的杰弗里·辛顿（Geoffrey E. Hinton）。^[1][2]

论文要解决的问题是如何训练带有隐藏单元的网络。输入直接连到输出时，学习规则很容易找到；有了隐藏单元，学习就困难得多，因为任务本身并不说明这些单元应当处于什么状态。当时感知机中间的“特征分析器”由人工固定，本身不会学习。^[1]

怎么做的

反向传播（back-propagation）反复调整连接权重，使网络的实际输出向量与期望输出向量之间的差距尽量小。每个单元把加权输入送入一个S形的逻辑斯蒂函数（logistic function），得到输出。前向过程计算每个单元的状态；后向过程借助链式法则，算出每个权重的误差导数；随后，带加速项的梯度下降更新权重。^[1]

论文的关键在后向过程。它让误差的“责任”能够分配给那些从未被直接告知该输出什么的隐藏单元。方法的其余部分由微积分和梯度下降构成。

结果

论文用几个小问题做了演示。第一个是：一个有两个隐藏单元的网络学会了识别6位输入向量中的镜像对称，学习过程对64种可能的输入共扫描了1,425遍。^[1]

第二个是：一个五层网络从104个可能的亲属三元组中学习了其中100个，学习对象是两棵结构相同、人名不同的家谱，一棵是英文的，一棵是意大利文的。它正确回答了剩下4个未参与训练的三元组，其隐藏单元还学到了国籍、代际和家族分支等特征。^[1]

论文也坦承了局限：误差曲面可能存在局部极小值；大卫·帕克（David Parker）和杨立昆（Yann Le Cun）也独立发现了类似的变体；就目前的形式而言，这种方法并不是大脑学习方式的合理模型。^[1]

为什么重要

论文的核心主张是，隐藏单元会学会表示任务领域中的重要特征。作者认为，正是这种创造有用新特征的能力，使反向传播区别于更早、更简单的方法，例如感知机收敛过程（perceptron-convergence procedure）。^[1] 对初学者来说，这意味着能自行构造中间表示的网络，不必依赖人工预先选定的表示。

后来的影响

同一作者的更长篇幅论述《Learning internal representations by error propagation》，于1986年发表在《Parallel Distributed Processing》第1卷中，该书由麻省理工学院出版社出版，由鲁梅尔哈特和麦克莱兰（McClelland）编辑。^[2]

ACM 2018年图灵奖的颁奖词认为，这项工作表明反向传播能让神经网络发现它们自己的数据内部表示，并指出该算法在今天的大多数神经网络中都是标准做法。^[3] 本档案中关于反向传播和卷积神经网络的条目，都建立在这一方法之上。