MultiEgoView

MultiEgoView数据集是由瑞士苏黎世联邦理工学院计算机科学系提供的，包含来自六个身体部位（头部、骨盆、手腕和膝盖）的RGB数据，以及对应的3D人体姿态和活动标注。该数据集结合了模拟和真实世界的数据，模拟数据是基于AMASS运动序列在四个高保真虚拟环境中生成的，真实数据则是13名参与者在现实生活中使用六个GoPro相机记录的。数据集旨在为人体姿态估计、活动分类、动态相机定位和映射算法的训练和基准测试提供挑战性的测试平台。

The MultiEgoView dataset is provided by the Department of Computer Science, ETH Zurich, Switzerland. It contains RGB data from six body parts (head, pelvis, wrists, and knees), along with corresponding 3D human pose and activity annotations. This dataset combines both simulated and real-world data: the simulated data is generated based on AMASS motion sequences across four high-fidelity virtual environments, while the real-world data was recorded by 13 participants using six GoPro cameras in real-life scenarios. The dataset aims to serve as a challenging testbed for the training and benchmarking of human pose estimation, activity classification, dynamic camera localization and mapping algorithms.

搜集汇总

数据集介绍

构建方式

MultiEgoView数据集的构建基于EgoSim模拟器，该模拟器使用真实的运动捕捉数据来生成多视角的全身运动图像，涵盖了从头部、盆骨、手腕和膝盖等不同身体部位拍摄的视角。此外，该数据集还包含了来自13名参与者在真实环境中使用6个GoPro相机记录的5小时真实世界视频数据，以及从Xsens运动捕捉套装获得的3D身体姿态参考。

使用方法

使用MultiEgoView数据集的方法涉及多个步骤。首先，用户可以从数据集中选择真实或模拟视频数据，并将其作为训练神经网络的输入。其次，用户可以使用数据集中的3D身体姿态和活动标签来训练和评估身体姿态估计模型。此外，用户还可以使用模拟的加速度计和陀螺仪读数来训练和评估动态相机定位和映射算法。最后，用户可以使用训练好的模型来预测新的视频数据中的身体姿态和活动，从而实现真实世界中的身体运动理解和交互。

背景与挑战

背景概述

在计算机视觉领域中，对第一人称视角的研究主要集中于头戴式相机，如鱼眼相机或沉浸式头戴设备中的嵌入式相机。然而，光学传感器的小型化趋势预示着相机将被集成到更多身体穿戴设备中，从而为计算机视觉中的传统任务带来新的视角。这些任务包括人体运动跟踪、身体姿态估计或动作识别，尤其是通常被遮挡的下肢部分。在这篇论文中，研究人员介绍了EgoSim，这是一个用于身体穿戴相机的多视角模拟器，它能够从佩戴者身体的多个视角生成逼真的第一人称渲染。EgoSim的关键特性是使用真实运动捕捉数据来渲染运动伪影，这在手臂或腿部穿戴的相机中尤为明显。此外，还介绍了MultiEgoView数据集，它包含了来自六个身体穿戴相机的第一人称视频和真实全身3D姿态数据。这些数据是在多个活动中收集的，总时长为119小时，来源于AMASS运动序列和四个高保真虚拟环境，并补充了来自13名参与者的5小时真实世界运动数据。这些数据使用六个GoPro相机和Xsens运动捕捉套装中的3D身体姿态参考进行收集。通过训练一个端到端的视频-only 3D姿态估计网络，展示了EgoSim的有效性。通过对领域差距的分析，研究人员表明，他们的数据集和模拟器极大地帮助了在真实世界数据上进行推理的训练。EgoSim代码和MultiEgoView数据集可以在https://siplab.org/projects/EgoSim找到。

当前挑战

MultiEgoView数据集和相关模拟器EgoSim面临的挑战包括：1)解决领域问题的挑战，如人体运动跟踪、身体姿态估计或动作识别，尤其是在下肢通常被遮挡的情况下；2)构建过程中所遇到的挑战，如模拟真实世界环境中的运动伪影，以及模拟身体穿戴相机在运动中的动态变化。此外，模拟器在多角色交互和多样化环境中的配置和渲染能力也是一项挑战。为了克服这些挑战，研究人员需要进一步提高模拟器的逼真度和灵活性，并确保模拟器能够生成与真实世界数据具有相似分布的数据。

常用场景

经典使用场景

MultiEgoView数据集在计算机视觉领域中主要用于研究基于人体穿戴式相机的运动和活动。该数据集提供了从多个视角捕捉人体运动的真实数据，对于人体运动跟踪、身体姿态估计、动作识别等领域具有重要作用。特别是在人体下部分通常被遮挡的情况下，该数据集提供了新的视角，有助于解决这一问题。

解决学术问题

MultiEgoView数据集解决了人体运动跟踪、身体姿态估计、动作识别等领域中存在的学术研究问题。该数据集提供了从多个视角捕捉人体运动的真实数据，有助于研究人员更好地理解和分析人体运动。此外，该数据集还提供了高保真的虚拟环境，有助于研究人员进行模拟实验和验证算法的有效性。

实际应用

MultiEgoView数据集在实际应用中主要用于开发基于人体穿戴式相机的智能设备，例如智能眼镜、智能手环等。这些设备可以捕捉人体的运动和姿态，从而实现更准确的人体运动跟踪、身体姿态估计、动作识别等功能。此外，该数据集还可以用于开发基于人体运动和活动的交互式应用程序，例如虚拟现实游戏、健身应用程序等。

数据集最近研究

最新研究方向

随着光学传感器微型化进程的加速，身体佩戴摄像头在计算机视觉领域的应用正逐渐兴起。MultiEgoView数据集作为该领域的重要资源，提供了来自多个身体部位的摄像头视角，以及真实运动捕捉数据，为人体运动追踪、身体姿态估计和动作识别等任务提供了新的研究视角。该数据集的最新研究主要集中在如何利用身体佩戴摄像头捕捉到的多视角数据，以及如何通过模拟器EgoSim生成真实感强的渲染图像，从而提高人体运动捕捉的准确性和鲁棒性。同时，研究还关注如何将模拟数据和真实世界数据进行结合，以缩小模拟与现实之间的差距，并提高算法在真实世界数据上的泛化能力。此外，MultiEgoView数据集也促进了多摄像头数据融合技术的研究，为未来可穿戴设备在人体运动捕捉和交互式感知方面的应用奠定了基础。

相关研究论文

• EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity

  瑞士苏黎世联邦理工学院计算机科学系 · 2025年