EgoPW

最近，使用单个鱼眼相机进行以自我为中心的3D人体姿势估计引起了很多关注。但是，现有方法难以从野外图像中进行姿势估计，因为由于无法获得大规模的野外以自我为中心的数据集，因此只能在合成数据上进行训练。此外，当身体部位被周围场景遮挡或与周围场景交互时，这些方法很容易失败。为了解决野外数据的短缺，我们收集了一个大规模的野外以自我为中心的数据集，称为野外以自我为中心的姿势 (egoopw)。该数据集由头戴式鱼眼摄像机和辅助外部摄像机捕获，该摄像机在训练过程中从第三人称视角提供了对人体的额外观察。我们提出了一种新的以自我为中心的姿势估计方法，可以在外部监督较弱的新数据集上进行训练。具体来说，我们首先通过结合外部视图监督，使用时空优化方法为EgoPW数据集生成伪标签。然后，伪标签用于训练以自我为中心的姿势估计网络。为了促进网络训练，我们提出了一种新颖的学习策略，以通过预先训练的外部视图姿势估计模型提取的高质量特征来监督以自我为中心的特征。实验表明，我们的方法可以从单个野外自我中心图像中预测准确的3D姿势，并且在定量和定性上都优于最新方法。