连接主义随反向传播与 PDP 两卷本复兴

背景

连接主义（connectionism）主张用大量简单的、类似神经元的单元相互连接来解释智能，而不是只靠符号操作。20 世纪 80 年代，这一思路重新回到人们的视野，通常被称为连接主义的第二波^[1]。要让这一波站得住脚，必须先回答两个问题：当输入和输出之间多出若干层单元时，这种网络还能不能学到有用的东西；以及它在实践中能不能训练出来。Minsky 与 Papert 曾对多层机器的学习给出悲观的判断，他们的《感知机》（Perceptrons）一书是讨论这个问题时绕不开的参照^[2]。

那篇论文

1986 年 10 月 9 日，《自然》（Nature）刊登了 David E. Rumelhart、Geoffrey E. Hinton 与 Ronald J. Williams 的论文《用反向传播误差学习表示》（Learning representations by back-propagating errors），载于第 323 卷，第 533 至 536 页^[3]。当时 Rumelhart 与 Williams 在加州大学圣迭戈分校认知科学研究所，Hinton 在卡内基梅隆大学计算机科学系^[3]。

方法是怎样的

按论文摘要的说法，反向传播（back-propagation）是一种用于类神经元单元网络的学习过程。网络反复调整各单元之间连接的权重，使实际输出的向量与期望输出的向量之间的差异度量尽可能小^[3]。换句话说，输出端的误差被用来推算每条连接对误差贡献了多少，每个权重再朝着让误差变小的方向挪一点。这些单元不是线性的，而非线性激活函数（activation function）的发现被认为促成了整个第二波^[1]。

隐单元与「表示」

最要紧的一点在于网络内部发生了什么。摘要指出，内部的隐单元（hidden unit）会逐渐表示任务领域中重要的特征；而能够创造出有用的新特征，正是反向传播区别于感知机收敛过程等更早期、更简单方法的地方^[3]。隐单元从不被直接告知应该对什么作出反应，它的权重只由自己的输出对最终误差的影响来塑造。于是，那些有助于降低误差的特征就被「长」进了网络，尽管没有人事先指定它们。

PDP 两卷本

1986 年的论文并不是单独出现的。维基百科把它与 1987 年的两卷本《并行分布处理》（Parallel Distributed Processing）并列为连接主义第二波的关键出版物^[1]。论文自己的参考文献里就列有 Rumelhart、Hinton 与 Williams 为麻省理工学院 1986 年出版、第 318 至 362 页的《并行分布处理：认知的微观结构探索，第 1 卷：基础》所写的章节^[3]。PDP 的工作把隐层和 Sigmoid 激活函数作为对简单感知机的改进引入进来^[1]。

与《感知机》的账

随着 80 年代后期连接主义的复兴，PDP 研究者 David Rumelhart 及其同事回过头去处理《感知机》。在一份 1986 年的报告中，他们声称已经克服了 Minsky 与 Papert 提出的问题，并认为后者对多层机器学习的悲观是没有根据的^[2]。这场争论也在那本书上留下了痕迹：1988 年《感知机》扩充版增加了序言和后记，讨论 20 世纪 80 年代神经网络的复兴^[2]。

影响

维基百科把反向传播的普及归功于 1986 年 10 月这篇论文^[1]。改变的不仅是一个训练算法，还有人们对「网络是用来做什么的」的看法。用反向传播训练的多层网络不只是把固定输入拟合成一个分类器，它会自己构造内部特征，而这些特征还可以用于别的任务。正因如此，这篇论文与 PDP 两卷本被视为第二波的开端，此前十年里主导讨论的多层学习难题也得以被搁到一边^[1][2]。