Google Brain 网络从无标注视频中学出猫脸与人脸检测器

背景

Google Research 将论文 Building high-level features using large scale unsupervised learning 列为 ICML 2012 论文，作者为 Quoc Le、Marc'Aurelio Ranzato、Rajat Monga、Matthieu Devin、Kai Chen、Greg Corrado、Jeff Dean 和 Andrew Ng ^[1]。arXiv 记录显示，该论文首次提交于 2011 年 12 月 29 日，修订版日期为 2012 年 7 月 12 日 ^[2]。这项工作要回答的问题是：一个在大规模原始图像上训练的网络，能否在没有给目标概念打标签的情况下，自行形成有用的高层特征检测器。

网络怎么搭

作者训练了一个 9 层、局部连接（locally connected）的稀疏自编码器（sparse autoencoder），其中使用了池化（pooling）和局部对比度归一化（local contrast normalization），训练数据是从互联网下载的 1000 万张 200×200 像素图像 ^[1][2]。稀疏自编码器是一类通过受限表示重建输入的网络，稀疏约束会让同一时刻只有少数单元处于活跃状态。池化和局部对比度归一化让表示对位置、对比度的小变化不那么敏感；局部连接则意味着单元每次只连接图像的局部区域，而不是每个连接都覆盖整幅图像。这个模型有 10 亿个连接，训练时使用模型并行（model parallelism）和异步随机梯度下降（asynchronous SGD），在 1000 台机器、16000 个核心组成的集群上训练了三天 ^[1][2]。

学到了什么

作者报告，可以在不标注图像是否含有人脸的情况下训练出人脸检测器 ^[1][2]。控制实验显示，这个特征检测器对平移（translation）、缩放（scaling）和平面外旋转（out-of-plane rotation）具有鲁棒性 ^[1][2]。同一个网络还对猫脸和人体敏感 ^[1][2]。也就是说，这些有用特征不是作为标签喂给网络的，而是从图像集合的训练中形成的。论文报告的结果同时包括两点：一个在无标注图像上训练的网络，形成了对高层物体的检测器。

ImageNet 上的结果

从学到的特征出发，网络在识别 ImageNet 的 2 万个物体类别时取得了 15.8% 的准确率，相比之前的最好结果有 70% 的相对提升 ^[1][2]。这个结果与人脸检测器的演示是两件事：同一种学到的表示被用作大规模物体识别任务的起点。这里的 70% 是相对提升，不是 70% 的绝对准确率。

为什么重要

这项实验把深层局部连接稀疏自编码器、1000 万张无标注图像和 1000 台机器上的分布式训练放在了一起 ^[1][2]。它表明，网络可以在没有这些类别标签的情况下学出对人脸、猫脸有选择性的特征，并且这些特征还能支持大规模物体识别 ^[1][2]。论文的公开记录也很清楚：Google Research 将其列为 ICML 2012 论文，arXiv 记录了 2011 年 12 月的提交和 2012 年 7 月的修订 ^[1][2]。对关注深度学习的人来说，这项工作展示了一条大规模路线：先用无监督学习从图像中得到高层特征，再把它们用于识别任务。