MuPoTS-3D (Multiperson Pose Test Set in 3DMulti-person Pose estimation Test Set in 3D)

我们提出了一种新的单镜头方法，用于在单目 RGB 相机的一般场景中进行多人 3D 姿势估计。我们的方法使用新颖的遮挡鲁棒姿势图（ORPM），即使在场景中其他人和物体的强烈部分遮挡下也能进行全身姿势推断。 ORPM 输出固定数量的地图，这些地图对场景中所有人的 3D 关节位置进行编码。身体部位关联允许我们为任意数量的人推断 3D 姿势，而无需明确的边界框预测。为了训练我们的方法，我们引入了 MuCo-3DHP，这是第一个显示复杂多人交互和遮挡的真实图像的大规模训练数据集。我们通过合成个人图像（具有来自多视图性能捕获的基本事实）来合成大量多人图像。我们在新的具有挑战性的 3D 注释多人测试集 MuPoTs-3D 上评估我们的方法，在其中我们实现了最先进的性能。为了进一步促进多人 3D 姿势估计的研究，我们将公开我们的新数据集和相关代码以用于研究目的。

We propose a novel single-shot method for multi-person 3D pose estimation in general scenes using a monocular RGB camera. Our method adopts a novel occlusion-robust pose map (ORPM) that enables full-body pose inference even under severe partial occlusions by other people and objects in the scene. The ORPM outputs a fixed number of maps that encode the 3D joint positions of all individuals in the scene. Body part association allows us to infer 3D poses for an arbitrary number of people without requiring explicit bounding box predictions.
To train our method, we introduce MuCo-3DHP, the first large-scale training dataset of real images featuring complex multi-person interactions and occlusions. We synthesize a large number of multi-person images by using individual synthesized images with ground truth from multi-view performance capture.
We evaluate our method on the new challenging 3D-annotated multi-person test set MuPoTs-3D, where we achieve state-of-the-art performance. To further advance research in multi-person 3D pose estimation, we will publicly release our new dataset and associated code for research purposes.

搜集汇总

背景与挑战

背景概述

MuPoTS-3D是一个用于单目RGB相机场景下多人3D姿态估计的测试集，采用遮挡鲁棒姿势图（ORPM）方法，支持在遮挡场景下的全身姿势推断。数据集由多个知名研究机构联合发布，旨在促进多人3D姿态估计的研究。