MuCo-3DHP

我们提出了一种新的单镜头方法，用于在单目 RGB 相机的一般场景中进行多人 3D 姿势估计。我们的方法使用新颖的遮挡鲁棒姿势图（ORPM），即使在场景中其他人和物体的强烈部分遮挡下也能进行全身姿势推断。 ORPM 输出固定数量的地图，这些地图对场景中所有人的 3D 关节位置进行编码。身体部位关联允许我们为任意数量的人推断 3D 姿势，而无需明确的边界框预测。为了训练我们的方法，我们引入了 MuCo-3DHP，这是第一个显示复杂多人交互和遮挡的真实图像的大规模训练数据集。我们通过合成个人图像（具有来自多视图性能捕获的基本事实）来合成大量多人图像。我们在新的具有挑战性的 3D 注释多人测试集 MuPoTs-3D 上评估我们的方法，在其中我们实现了最先进的性能。为了进一步促进多人 3D 姿势估计的研究，我们将公开我们的新数据集和相关代码以用于研究目的。