深度信念网络的快速学习算法

论文《深度信念网络的快速学习算法》（A fast learning algorithm for deep belief nets）由 Geoffrey E. Hinton、Simon Osindero 和 Yee-Whye Teh 撰写，2006 年 7 月 1 日发表在《Neural Computation》第 18 卷第 7 期，第 1527–1554 页^[1]。Hinton 与 Osindero 当时在加拿大多伦多大学计算机科学系，Teh 在新加坡国立大学^[1]。

要解决的问题

信念网络（belief network）是一类概率模型：可见单元承载数据，隐藏单元承载对数据的解释，单元之间以带权连接相连，整个网络因此定义了一个关于可见数据的概率分布。隐藏层越多，网络越能表示丰富的、层次化的规律，但学习也越难。在连接稠密、隐藏层很多的网络中，从数据反推隐藏单元的状态（推断）十分困难，原因是所谓的「解释掉」（explaining away）效应：当观察到的数据可以由多个隐藏原因分别解释时，其中一个原因的证据会压低其他原因的概率，隐藏单元之间不再条件独立，只能放在一起联合推断。学习过程因此变得缓慢而不可靠。论文要消除的正是这个障碍^[1]。

互补先验

作者的入手点是先验分布。摘要说明，他们用「互补先验」（complementary priors）消除稠密连接、多隐藏层信念网络中让推断变难的解释掉效应^[1]。粗略地说，做法是让先验与权重所决定的似然项相互配合、彼此抵消：当先验与似然「互补」时，隐藏单元的后验分布可以分解，每个单元都能单独推断，而不必与其余所有单元联合推断。单层内的推断一旦变简单，网络就可以一层一层地搭起来。

逐层贪心学习

借助互补先验，论文导出了一个快速、贪心的算法，可以一次一层地学习深层有向信念网络，前提是最上面两层构成一个无向的联想记忆（associative memory）^[1]。顶部两层保持无向，充当联想记忆，存放已经学到的表示；下面的层是有向的，每一层生成它上面的一层。贪心过程每次只增加并训练一层，因此没有任何一步需要一次性解决整个深层网络的推断问题——新加的一层只需对已有各层产生的表示建模。

用对比版 wake-sleep 微调

逐层训练只是一个初始化。论文用这个快速贪心算法为一个较慢的学习过程提供起点，再用 wake-sleep 算法的一个对比（contrastive）版本微调权重^[1]。wake-sleep 的基本形态是两相交替：清醒（wake）阶段调整生成方向的连接，让模型解释它看到的数据；睡眠（sleep）阶段调整识别方向的连接，使模型学会从自己生成的样本反推隐藏状态。这里用的对比版本从贪心阶段已经得到的权重继续出发，把它们进一步打磨。

结果

微调之后，一个带三个隐藏层的网络成为手写数字图像与标签的联合分布的很好的生成模型^[1]。由于它是生成模型——刻画的是图像与标签的联合分布，而不只是类别之间的一条边界——可以给定一张图像去问最可能的标签。论文指出，这个生成模型的数字分类效果优于最好的判别式学习算法^[1]。这一点值得直说：一个以描述数据为目标的模型，在数字分类上超过了专门为分类训练的方法。

为什么重要

这篇论文的贡献可以看成彼此衔接的两块。第一块是让深层稠密网络中的推断变得可行，使解释掉效应不再卡住学习；第二块是建立在其上的可操作训练日程——先用快速贪心算法一层层把网络长出来，再用较慢的微调过程把整个网络放在一起调整。两者不是孤立的技巧：贪心算法提供起点，对比版 wake-sleep 提供收尾。

其中最容易被复用的是它的两段式形态：先让深度模型通过逐部分训练得到一组合理的权重，每一部分只对下面各层产生的表示建模，然后才把整个模型作为整体调整。这样的顺序把一个难以处理的联合问题拆成一串较小的问题，而论文把这个顺序讲得足够清楚，换掉其中某个部件也照样能用。数字实验还支撑了一个更一般的论点：同时刻画输入与标签的联合分布的模型，比只画分类边界的模型携带更多信息，而在这个实验里，这些额外的信息体现为更好的分类表现^[1]。