基于单幅深度图像分部位的实时人体姿态识别

要解决的问题

从相机图像里读出人的姿态——判断身体各个关节在三维空间中的位置——是计算机视觉的经典难题之一。这篇论文提出的问题很克制：如果只有一幅深度图像，而且完全不用时间信息，能恢复出多少姿态？深度图像看起来像一张普通照片，只是每个像素记录的不是颜色，而是传感器到前方表面的距离，所以人的轮廓很清楚，纹理和光照却几乎不提供信息。因为方法不使用时间信息，它不跨帧跟踪同一个人，也不靠上一帧去推测下一帧，每一帧都单独处理^[1]。

摘要把目标写得很直接：方法不使用时间信息，从单幅深度图像快速、准确地预测人体关节的三维位置^[1]。

思路：把姿态估计变成逐像素分类

关键在于引入一个中间表示。系统不直接预测关节位置，而是先给像素标注它属于哪个身体部位，从而把困难的姿态估计问题转化为更简单的逐像素分类问题^[1]。这一步之所以有用，是因为判断某个像素属于哪个部位基本是局部判断，靠附近的深度信息就能作出；而一个关节的三维位置是全局量，取决于整个身体。

训练这样的分类器需要覆盖大量姿态、体型和衣着的样本。摘要说，大规模且高度多样的训练数据集，使分类器能够在姿态、体型和衣着变化下仍然稳定地估计身体部位^[1]。换句话说，正是训练数据的多样性，让标注在遇到新的人、新的姿势、没见过的衣服时依然可用。

从部位标注回到关节是第二步。系统把分类结果重投影，并寻找局部众数（local mode），由此生成若干带有置信度评分的三维关节候选^[1]。所谓众数，就是重投影后的证据聚集的位置；置信度评分则记录系统对这个候选有多大把握。

训练数据从哪里来

论文在 CVPR 2011 上发表的补充材料，对随机化合成渲染流程给出了更多细节^[2]。该流程使用了 15 个各不相同的基础人物三维模型，男女都有，年龄从儿童到成人^[2]。变化基础人物，是让分类器面对足够宽泛的体型范围的一种办法。

结果

最醒目的数字是速度：系统在消费级硬件上达到每秒 200 帧^[1]。这远高于普通相机的帧率，而且既不需要专用硬件，也不依靠跨帧的时间平滑。

准确率在合成测试集和真实测试集上都做了评估，结果都很好，与相关工作相比达到了当时的最好水平^[1]。在真实数据上测试尤其重要，因为训练流程是合成的：这说明分类器学到的东西，从渲染出来的深度图像迁移到了真实传感器采集的深度图像上。

为什么重要

在微软研究院 2011 年学术峰会（Microsoft Research Faculty Summit 2011）的报告里，这篇论文被列为 CVPR 2011 最佳论文^[3]。同一份报告列出的作者是 Jamie Shotton、Andrew Fitzgibbon、Mat Cook、Toby Sharp、Mark Finocchio、Richard Moore、Alex Kipman 和 Andrew Blake^[3]。

它的贡献既是结果，也是一种重新表述。把全身姿态估计变成逐像素的部位分类，再把部位标注通过重投影和寻找众数变回关节候选，等于把一个困难的结构化三维问题换成了一个可以快速求解的分类问题^[1]。再加上随机化合成渲染流程所提供的规模大、变化多的训练数据^[1][2]，这项工作表明：单单一张深度图像——没有历史帧，也没有标记点——就足以确定全身姿态，而计算量在消费级硬件上达到每秒 200 帧也绰绰有余^[1]。