从小图像中学习多层特征

问题

这份技术报告由 Alex Krizhevsky 撰写，日期为 2009 年 4 月 8 日^[1]。报告摘要提到，MIT 和 NYU 的研究组从网络上收集了数百万张微小的彩色图像，构成一个数据集^[1]。报告关心的问题是：模型如何从这类图像中学习有用特征。它把目标描述为训练一个多层生成模型，学习抽取有意义的特征，并让这些特征类似人类视觉皮层中的特征^[1]。讨论重点因此落在特征学习上，而不只是用原始像素做分类。

方法

报告训练多层生成模型^[1]，重点研究受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）和深度信念网络（Deep Belief Network, DBN）^[1]。可以这样理解：RBM 是一种生成式模型，通过隐藏单元表示输入中的结构；DBN 则把多层表示堆叠起来。报告指出，这些模型学到的滤波器对分类器比原始像素更有用^[1]。为了让训练在可接受时间内完成，报告提出一种新的并行化算法，把工作分配到通过网络连接的多台机器上^[1]。另一项关键做法是预训练：在一个大规模无标注小图像集合上预训练一层特征，可以显著改善物体识别^[1]。也就是说，无标注图像先帮助模型形成表示，再用于后续识别任务。

标签

报告说，研究创建了两套可靠标签^[1]。CIFAR-10 在每个类别中有 6000 个样本，共 10 个类别^[1]。CIFAR-100 在每个类别中有 600 个样本，共 100 个互不重叠的类别^[1]。这些带标签的数据为评估所学特征提供了明确对象。

结果与意义

报告给出的结果是：在大规模无标注小图像上预训练一层特征，能显著改善物体识别^[1]。RBM 和 DBN 学到的滤波器比原始像素对分类器更有用^[1]。并行化算法把训练工作分布到网络中的多台机器上，使训练能在合理时间内进行^[1]。报告同时记录了 CIFAR-10 和 CIFAR-100 这两套标签^[1]。多伦多大学的 CIFAR 页面在页面底部要求任何使用该数据集的人引用这份技术报告^[2]。因此，这份报告不仅是方法说明，也是数据集使用时的引用对象^[2]。把无监督特征学习、分布式训练和带标签小图像数据集放在同一份报告中，是它在这条研究线上的位置。