玻尔兹曼机

是什么

玻尔兹曼机（Boltzmann machine）是一种神经网络模型，整个网络的状态用一个数——能量——来描述。单元之间相互连接，每一种「哪些单元开、哪些单元关」的配置都对应一个能量值。它的全局能量 E 与霍普菲尔德网络（Hopfield network）、伊辛模型（Ising model）形式相同^[1]，模型本身则建立在 Sherrington–Kirkpatrick 自旋玻璃（spin glass）模型之上^[1]。这一出身决定了它的用法：网络不是一步步算出输出，而是像一个物理系统那样向低能量状态沉降，「计算」就是找到这些低能量状态。

怎么工作

两件事决定它的行为。其一，单元是随机的：某个单元是否打开由随机决定，概率取决于它翻转后整个网络的能量会降低还是升高，也取决于一个温度参数。其二，连接上带着权重，学习改变的就是这些权重。

温度提供了搜索的手段。温度高时，网络在各种配置之间四处游走；温度逐渐降低，它就越来越倾向于停留在低能量状态。这就是模拟退火（simulated annealing），也正是辛顿在 1983 年原定要讲的内容，当时讲的是霍普菲尔德网络中的模拟退火^[1]。

举一个小例子。假设有 4 个单元，我们希望前两个总是同时打开、后两个总是同时打开。只要把每对内部的权重设成较大的正值，两对各自内部一致的配置，其能量就明显低于一对里一开一关的配置。能量函数于是成了一种紧凑的写法，用来写下「哪些单元状态的组合是合格的」——1984 年那份技术报告正是把这些网络称作「会学习的约束满足网络」^[2]。

学习的过程是调整权重，让网络对给它看的样本给出低能量，而对它自己生成的配置给出更高的能量，两者的差别推动权重变化。辛顿后来回忆，1983 年 2 月或 3 月他本来要讲霍普菲尔德网络中的模拟退火，为此不得不设计一个学习算法，这个算法就成了玻尔兹曼机的学习算法^[1]。

从哪来

直接的背景是霍普菲尔德 1982 年的那篇论文，它把自旋玻璃理论用到联想记忆上^[1]。玻尔兹曼机是从这条线索里长出来的。按辛顿自己的说法，学习算法诞生在 1983 年初，一场关于模拟退火的报告逼着他想清楚这样的网络怎么学习^[1]。

维基百科为这一模型列出的参考文献中，有 1983 年 5 月和 6 月的辛顿—塞诺夫斯基论文，也有一篇 1983 年的 AAAI-83 玻尔兹曼机论文^[1]；索尔克研究所的出版物数据库则列有辛顿与塞诺夫斯基的《Massively Parallel Architectures for AI: NETL, Thistle and Boltzmann Machines》，收于 1983 年在华盛顿召开的国家人工智能会议论文集^[2]。同年还有一份卡内基梅隆大学计算机科学技术报告，编号 CMU-CS-84-119，题为《Boltzmann Machines: Constraint Satisfaction Networks That Learn》，作者是辛顿、塞诺夫斯基与 Ackley^[2]。

完整的学习步骤是与 Ackley 一起发表的：Ackley、辛顿与塞诺夫斯基的《A Learning Algorithm for Boltzmann Machines》刊登于 1985 年《Cognitive Science》第 9 卷，第 147 至 169 页^[1][2]。1986 年，辛顿与塞诺夫斯基撰写的章节《Learning and Relearning in Boltzmann Machines》收入 McClelland 与 Rumelhart 主编的《Explorations in the Microstructure of Cognition》第 1 卷，由 MIT Press 出版^[2]。

为什么重要

维基百科把在认知科学中运用能量模型的最初贡献归于辛顿与塞诺夫斯基的论文^[1]，并认为玻尔兹曼机在认知科学和机器学习共同体中的广泛传播，与辛顿、塞诺夫斯基和杨·勒昆（Yann LeCun）分不开^[1]。它留下的最关键一步是观念上的：一个模型可以由一个给所有可能配置打分的能量来定义，学习则可以定义为改造这个打分。权重于是不再是流水线上的一道道工序，而是能量地貌的形状；网络学到的东西，表现为低能量状态所满足的一组约束^[2]。

局限

代价在计算上。学习要比较两种统计量：网络被展示数据时采集到的，和它自己运行时采集到的，而每一种估计都需要对网络自身的配置反复采样。因此训练比那些一遍就能算出状态的模型慢得多，采样过程还得靠温度安排小心引导。