PeopleSansPeople (PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision)

我们发布了一个以人为中心的合成数据生成器 PeopleSansPeople，其中包含可模拟的 3D 人体资产、参数化照明和摄像系统，并生成 2D 和 3D 边界框、实例和语义分割以及 COCO 姿势标签。使用 PeopleSansPeople，我们使用 Detectron2 Keypoint R-CNN 变体 [1] 执行基准合成数据训练。我们发现，使用合成数据对网络进行预训练并在目标真实世界数据上进行微调（少量镜头转移到 COCO-person train [2] 的有限子集）导致关键点 AP 为 60.37±0.48（COCO 测试-dev2017) 优于仅使用相同真实数据训练的模型（关键点 AP 为 55.80）和使用 ImageNet 预训练的模型（关键点 AP 为 57.50）。这种免费提供的数据生成器应该能够对新兴的模拟领域进行广泛的研究，以在以人为中心的计算机视觉的关键领域进行真正的迁移学习。