EgoPW

最近，使用单个鱼眼相机进行以自我为中心的3D人体姿势估计引起了很多关注。但是，现有方法难以从野外图像中进行姿势估计，因为由于无法获得大规模的野外以自我为中心的数据集，因此只能在合成数据上进行训练。此外，当身体部位被周围场景遮挡或与周围场景交互时，这些方法很容易失败。为了解决野外数据的短缺，我们收集了一个大规模的野外以自我为中心的数据集，称为野外以自我为中心的姿势 (egoopw)。该数据集由头戴式鱼眼摄像机和辅助外部摄像机捕获，该摄像机在训练过程中从第三人称视角提供了对人体的额外观察。我们提出了一种新的以自我为中心的姿势估计方法，可以在外部监督较弱的新数据集上进行训练。具体来说，我们首先通过结合外部视图监督，使用时空优化方法为EgoPW数据集生成伪标签。然后，伪标签用于训练以自我为中心的姿势估计网络。为了促进网络训练，我们提出了一种新颖的学习策略，以通过预先训练的外部视图姿势估计模型提取的高质量特征来监督以自我为中心的特征。实验表明，我们的方法可以从单个野外自我中心图像中预测准确的3D姿势，并且在定量和定性上都优于最新方法。

搜集汇总

背景与挑战

背景概述

EgoPW是一个大规模野外以自我为中心的3D人体姿势数据集，通过头戴式鱼眼摄像机和外部辅助摄像机采集，旨在解决现有方法因数据缺乏而难以在真实场景中准确估计姿势的问题。该数据集结合外部视图监督生成伪标签，并采用新颖学习策略训练网络，从而提升从单个自我中心图像预测3D姿势的准确性，在性能上超越当前先进方法。