《玻尔兹曼机的一种学习算法》

问题背景

《玻尔兹曼机的一种学习算法》是 David H. Ackley、Geoffrey E. Hinton 与 Terrence J. Sejnowski 在 1985 年发表的论文。Ackley 与 Hinton 隶属卡内基梅隆大学计算机科学系，Sejnowski 隶属约翰斯·霍普金斯大学生物物理系；文章刊于《Cognitive Science》第 9 卷，第 147 至 169 页 ^[1]。文章开篇指出，关于大脑架构的证据以及新 VLSI（超大规模集成电路）技术的潜力，使连接主义系统（connectionist systems）重新受到关注 ^[1]。在这类网络中，长期知识以简单类神经元处理单元之间连接强度的大小来保存 ^[1]。这给论文定下了一个基本图景：网络由简单单元和连接构成，网络所保存的知识由这些连接的强弱来承载 ^[1]。

为什么适合并行计算

作者认为，这类网络适合视觉等可以高效并行执行的任务，因为它们的物理连接正好位于需要通信的进程所在之处 ^[1]。论文还把大规模约束满足（constraint satisfaction）列为一种非常适合大规模并行网络的计算 ^[1]。一般来说，约束满足问题是要在若干条件之间找到一种同时满足它们的安排；论文的论点是，这类问题适合大规模并行网络 ^[1]。视觉和大规模约束满足因此被放在同一个讨论中：它们都是连接主义网络的连接方式与计算需求相配合的例子 ^[1]。

学习规则

在这样的背景下，论文描述了一种通用学习规则，用来修改连接强度，从而把关于某个任务领域的知识从例子中纳入网络 ^[1]。这条规则被表述为通用的：它处理的是连接强度如何修改，而任务领域的知识通过例子进入网络 ^[1]。由于长期知识保存在连接强度里，学习在这里就是对这些强度进行调整 ^[1]。论文关注的是承载网络知识的连接如何改变 ^[1]。

这条规则的关键在于它把学习与网络的知识存储方式对齐。网络的知识保存在连接强度里，学习规则要做的正是修改这些强度；而例子提供了任务领域的知识，使修改有依据 ^[1]。论文把规则作为通用规则提出，再用简单例子说明它能够形成内部表示 ^[1]。

报告的例子

文章报告了一些简单例子，在这些例子中，学习算法创造出的内部表示（internal representations）具有可证明的高效结构 ^[1]。例子被描述为简单的，论文用它们来表明：算法能够产生内部表示，而这些表示的结构可以被证明是高效的 ^[1]。这里的重点不只是连接强度发生了变化，而是由此形成的内部表示具有作者能够展示的高效结构 ^[1]。

意义

论文的重要性在于它把几件事放在同一个框架里。它从以简单类神经元单元之间的连接强度保存长期知识的连接主义系统出发 ^[1]；它主张这类网络因为连接位置正好服务于进程间通信，适合视觉和大规模约束满足等并行任务 ^[1]；它还给出一种通用学习规则，能够利用例子修改连接强度，并通过简单例子展示由此形成的内部表示具有高效结构 ^[1]。这样，学习被描述为连接强度和内部表示的问题，而网络架构则与大脑架构的证据和 VLSI 技术的潜力联系在一起 ^[1]。这些要素合在一起，构成了论文的完整论证：一种网络架构、一种并行计算方式、一条从例子中学习的通用规则，以及一个关于学习能够形成有结构内部表示的演示 ^[1]。