MTC（Monocular Total Capture）

我们提出了第一种从单眼视图输入捕获目标人的3D总运动的方法。给定图像或单眼视频，我们的方法重建了由3D可变形网格模型表示的身体，面部和手指的运动。我们使用一种称为3D零件方向字段 (pof) 的有效表示形式来编码公共2D图像空间中所有身体部位的3D方向。Pof由全卷积网络 (FCN) 以及联合置信度图预测。为了训练我们的网络，我们收集了一个新的3D人体运动数据集，该数据集在多视图系统中捕获40个受试者的各种全身运动。我们利用3D可变形人体模型，通过利用模型中的姿势和形状，从CNN输出中重建全身姿势。我们还提出了一种基于纹理的跟踪方法，以获得时间上相干的运动捕获输出。我们进行全面的定量评估，包括与现有的特定于身体和特定于手的方法进行比较，以及对相机视点和人体姿势变化的性能分析。最后，我们在各种具有挑战性的野外视频上演示了我们的全身运动捕捉的结果。