DeepFace：把人脸验证拉近人类水平

要解决的问题

人脸验证（face verification）的任务是判断两张人脸照片是否属于同一个人。传统系统把它拆成几个阶段：检测人脸、把人脸对齐到特征位置一致的状态、计算人脸的数值表示、再根据表示判断两张照片是否属于同一身份。DeepFace 发表在 CVPR 2014，页码 1701 至 1708，重点处理的是其中第二步和第三步：它重新设计了经典「检测—对齐—表示—分类」流程中的对齐阶段和表示阶段^[1]。

对齐：用三维人脸模型做规整

同一个人的两张照片很少天然对齐：头部姿态、取景范围和旋转角度都可能不同，直接在没有对齐的图上计算表示，同一个人会被当成两种不同的模式。因此论文的对齐步骤使用显式的三维人脸建模，然后施加分段仿射变换（piecewise affine transformation）^[1]。简单说，就是先以一个三维人脸模型作为参照，把照片向这个参照变形；分段仿射变换不是对整张图用一个统一的变换，而是把图像分成若干块，每块各自做一次简单的几何变换，这样比全局单一变换能贴合得更准。

表示：一个很大的局部连接网络

人脸表示来自一个九层深度神经网络，参数量超过 1.2 亿^[1]。它的结构有一处明显不同于常见做法：若干层采用了不做权重共享的局部连接层（locally connected layers），而不是标准的卷积层（convolutional layer）^[1]。两者的区别说起来很简单：卷积层把一个小滤波器在整张图上滑动，同一组权重在每个位置重复使用；局部连接层则让每个位置拥有自己的一组权重。这样网络对与位置相关的结构有更大的建模自由，代价是参数多得多，存储和训练都更贵。

网络在一个带身份标注的数据集上训练，包含 400 万张人脸图像，分属 4000 多个身份^[1]。监督信号就是身份：每张图都标了是谁，网络学着把这些身份区分开。训练得到的表示，随后被用来比较两张照片是否属于同一人。

结果

在 Labeled Faces in the Wild 上，该方法的准确率达到 97.35%，并把此前最好方法的错误率降低了 27% 以上^[1]。第二个数字更有信息量。准确率已经很高时，每提高一个百分点都很难，因为容易的样本基本已被解决，剩下要看的是错误率，也就是系统仍然判错的那部分比例。把剩余错误减少 27% 以上，意味着此前系统犯的错中有相当大一部分被消掉了。

为什么重要

标题点明了目标：在人脸验证上缩小与人类水平的差距。自然条件下的人脸照片之所以难，恰恰因为「自然」：同一张脸会出现在不同的光照、不同的角度、不同的距离下，也出现在一个人不同的人生阶段里。论文给出的答案是，把既有流程中的两部分当作真正要解决的问题，而不是固定不变的前期处理：对齐交给显式的三维模型，表示交给一个在数百万张标注图像上训练出来的超大网络^[1]。报告出来的数值，让这个方法在一个被广泛使用的基准上明显超过了此前的最好结果^[1]。