《并行分布式处理》（PDP 两卷本）

两卷本的分工与著录

《并行分布式处理：认知微观结构的探索》（Parallel Distributed Processing: Explorations in the Microstructure of Cognition）由 MIT Press 出版，分两卷。第一卷《基础》（Foundations）署名 David E. Rumelhart、James L. McClelland 与 PDP 研究组；第二卷《心理学与生物学模型》（Psychological and Biological Models）署名顺序相反，以 McClelland 在前、Rumelhart 在后，同样带上 PDP 研究组。^[1][3] 从两卷的副标题可以看出分工：一卷处理基础问题，一卷讨论心理学与生物学上的模型。出版社为第一卷提供的书目页与斯坦福大学图书馆的馆藏记录都把它记为 1986 年出版，^[2][3] 也有资料称其为 1987 年的两卷本；^[1] 这只是一处不大的著录差异。

它主张的心智图景

出版社在内容简介中概括了作者的理论：心智由大量基本单元构成，这些单元连成神经网络，心理过程是单元之间相互作用的结果，而且是并行发生的，不是一步一步的顺序操作。^[3]「并行」是这里的关键：同一时刻有许多单元同时活动、互相影响，而不是由单一处理器逐条执行指令。这背后的总原则——联结主义（connectionism）的核心原则——是心理现象可以用相互连接的、简单且往往同质的单元网络来描述。^[1] 在这样的网络里，记忆和学习被看作连接权重（weight）的改变，权重通常写成一个 n×m 的矩阵。^[1] 矩阵中的每个元素表示一个单元对另一个单元的影响有多强；学习就是按经验去改动这些数值，而不是把条目单独存放起来。

相对感知机的几处改动

感知机（perceptron）是单个单元，把加权后的输入相加，超过阈值就发出信号。这本书对这种简单设想做了改进，在输入单元和输出单元之外加入了中间处理单元，也就是隐藏层（hidden layer）。^[1] 它还描述了用 S 形的 sigmoid 激活函数（sigmoid activation function）取代全有或全无的阈值函数。^[1] 单元堆叠成层之后，这一区别变得重要：全有或全无的单元在开与关之间骤然跳变，而 sigmoid 的输出连续变化，权重上一点点调整只会带来行为上一点点的变化，整个网络才有可能被逐渐调好。非线性激活函数的发现，被认为开启了联结主义的第二次浪潮。^[1]

与反向传播的关系

反向传播（backpropagation）是一套算出每个权重该怎么改的方法：把误差从输出端逐层往回传，据此调整连接强度。它的流行通常归功于另一篇 1986 年的论文——Rumelhart、Hinton 与 Williams 的《用反向传播误差学习表征》（Learning representations by back-propagating errors），发表于 1986 年 10 月。^[1] 这篇论文与 PDP 两卷本一起，被列为联结主义第二次浪潮的关键文献。^[1] 大致可以说，两卷本提供框架和词汇，论文提供被广泛采用的学习规则。

影响与承认

2002 年，Rumelhart 与 McClelland 因在名为并行分布式处理的认知框架和联结主义概念上的工作，获得路易斯维尔大学 Grawemeyer 心理学奖。^[2] 这套以单元、连接、权重和激活函数组成的表述方式，此后长期是讨论神经网络与认知建模的共同语言。