MTC（Monocular Total Capture）

我们提出了第一种从单眼视图输入捕获目标人的3D总运动的方法。给定图像或单眼视频，我们的方法重建了由3D可变形网格模型表示的身体，面部和手指的运动。我们使用一种称为3D零件方向字段 (pof) 的有效表示形式来编码公共2D图像空间中所有身体部位的3D方向。Pof由全卷积网络 (FCN) 以及联合置信度图预测。为了训练我们的网络，我们收集了一个新的3D人体运动数据集，该数据集在多视图系统中捕获40个受试者的各种全身运动。我们利用3D可变形人体模型，通过利用模型中的姿势和形状，从CNN输出中重建全身姿势。我们还提出了一种基于纹理的跟踪方法，以获得时间上相干的运动捕获输出。我们进行全面的定量评估，包括与现有的特定于身体和特定于手的方法进行比较，以及对相机视点和人体姿势变化的性能分析。最后，我们在各种具有挑战性的野外视频上演示了我们的全身运动捕捉的结果。

We present the first method to capture full 3D motion of a target person from a monocular view input. Given an image or monocular video, our method reconstructs the motions of the body, face, and fingers represented by a 3D deformable mesh model. We employ an efficient representation named 3D Part Orientation Field (POF) to encode the 3D orientations of all body parts in the common 2D image space. POF is predicted by a fully convolutional network (FCN) along with joint confidence maps. To train our network, we collect a novel 3D human motion dataset that captures diverse full-body motions of 40 subjects using a multi-view capture system. We leverage the 3D deformable human body model to reconstruct full-body poses from the CNN outputs by exploiting the pose and shape information embedded in the model. We also propose a texture-based tracking approach to obtain temporally coherent motion capture results. We conduct comprehensive quantitative evaluations, including comparisons with existing body-specific and hand-specific methods, as well as performance analyses on camera viewpoint and human pose variations. Finally, we demonstrate our full-body motion capture results on various challenging in-the-wild videos.

搜集汇总

背景与挑战

背景概述

MTC（Monocular Total Capture）是一个用于从单眼视图输入捕获目标人3D总运动的数据集，包含40个受试者的各种全身运动数据，使用3D零件方向字段和全卷积网络进行预测和重建。该数据集由卡内基梅隆大学于2019年发布，适用于3D人体运动捕捉和姿势重建研究。