大卫·鲁梅尔哈特

概况

大卫·鲁梅尔哈特（David E. Rumelhart）是美国认知心理学家，研究人如何感知、记忆、学习和理解语言。他 1942 年 6 月 12 日出生于南达科他州，2011 年在密歇根州去世，享年 68 岁。^[3] 他的名字与一个思路紧密相连：由许多类神经元的简单单元组成的网络，可以从例子中学到规律，而不必由人手写全部规则。

教育与早期研究

他 1963 年在南达科他大学获得心理学与数学学士学位，1967 年在斯坦福大学获得数理心理学（mathematical psychology）博士学位。^[3] 数理心理学用公式或计算机程序这类形式化模型描述心理过程，并用实验数据检验这些模型，这一背景贯穿了他后来的研究。

主要贡献

他的代表性工作大多是合作完成的。他与詹姆斯·麦克莱兰（James McClelland）及 PDP（并行分布式处理，Parallel Distributed Processing）研究小组合作，于 1986 年出版两卷本著作《Parallel Distributed Processing: Explorations in the Microstructure of Cognition》，把联结主义（connectionism）模型带给了更广泛的读者。^[3] 联结主义认为，知识储存在许多简单单元之间连接的强度里，而不是储存在符号和规则里。

同年 10 月，他作为第一作者，与杰弗里·辛顿（Geoffrey Hinton）、罗纳德·威廉姆斯（Ronald Williams）合作，在《自然》（Nature）上发表了《Learning representations by back-propagating errors》。^[2] 反向传播的做法是：网络给出输出后，把输出与正确答案之间的差距当作误差，误差从输出层逐层往回传，每条连接据此微调，使下一次的误差更小。经过大量例子的反复调整，网络内部便编码出有用的规律。

任职经历

他 1967 年至 1987 年任教于加州大学圣迭戈分校，1987 年回到斯坦福大学。^[1] 他在斯坦福带领一支由研究生和博士后组成的团队，直到 20 世纪 90 年代一种神经退行性疾病夺去了他的智力。1998 年，他退休并迁居密歇根州安娜堡。^[1]

荣誉与影响

他获得过 1987 年的麦克阿瑟奖学金（MacArthur Fellowship）、1991 年当选美国国家科学院院士，2002 年还与麦克莱兰共同获得格劳梅耶心理学奖（Grawemeyer Award in Psychology）。^[3] 2000 年，人们设立了以他命名的认知科学理论贡献奖（David E. Rumelhart Prize）。^[3]

反向传播后来成为训练神经网络的标准方法之一。今天的深度学习使用规模大得多的网络和多得多的数据，但依然依靠误差来调整连接强度，这与他那篇 1986 年的论文属于同一条脉络。^[2]