MuCo-3DHP

我们提出了一种新的单镜头方法，用于在单目 RGB 相机的一般场景中进行多人 3D 姿势估计。我们的方法使用新颖的遮挡鲁棒姿势图（ORPM），即使在场景中其他人和物体的强烈部分遮挡下也能进行全身姿势推断。 ORPM 输出固定数量的地图，这些地图对场景中所有人的 3D 关节位置进行编码。身体部位关联允许我们为任意数量的人推断 3D 姿势，而无需明确的边界框预测。为了训练我们的方法，我们引入了 MuCo-3DHP，这是第一个显示复杂多人交互和遮挡的真实图像的大规模训练数据集。我们通过合成个人图像（具有来自多视图性能捕获的基本事实）来合成大量多人图像。我们在新的具有挑战性的 3D 注释多人测试集 MuPoTs-3D 上评估我们的方法，在其中我们实现了最先进的性能。为了进一步促进多人 3D 姿势估计的研究，我们将公开我们的新数据集和相关代码以用于研究目的。

We propose a novel one-shot method for multi-person 3D pose estimation in general scenes captured by monocular RGB cameras. Our method employs a novel Occlusion-Robust Pose Map (ORPM) that enables full-body pose inference even under severe partial occlusions caused by other people and objects in the scene. The ORPM outputs a fixed number of maps that encode the 3D joint positions of all individuals present in the scene. Body part association allows us to infer 3D poses for an arbitrary number of people without explicit bounding box prediction. To train our method, we introduce MuCo-3DHP, the first large-scale training dataset of real-world images featuring complex multi-person interactions and occlusions. We synthesize a large corpus of multi-person images using synthetic individual images equipped with ground truth obtained from multi-view performance capture. We evaluate our method on MuPoTs-3D, a new challenging multi-person test set with 3D annotations, and achieve state-of-the-art performance. To further advance research in multi-person 3D pose estimation, we will publicly release our new dataset and associated code for research purposes.

搜集汇总

背景与挑战

背景概述

MuCo-3DHP是一个专注于复杂多人交互和遮挡场景的3D人体姿态估计数据集，通过合成真实图像构建，支持单目RGB相机下的多人3D姿态研究，由斯坦福大学等机构于2018年发布。