有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
EMHI|虚拟现实数据集|人体姿态估计数据集
收藏arXiv2024-08-30 更新2024-09-04 收录
下载链接：
https://arxiv.org/pdf/2408.17168v1
下载链接
链接失效反馈资源简介：
EMHI是一个多模态的第一人称动作数据集，由PICO机构创建，包含885个序列，记录了58名参与者在VR环境中执行的39种动作。数据集内容包括同步的立体图像和IMU信号，以及SMPL格式的姿态标注。数据集的创建过程涉及使用VR头显和身体穿戴的IMU设备进行数据采集，并通过多视角相机系统和OptiTrack进行时空同步和标注。EMHI数据集主要应用于虚拟现实和增强现实领域，旨在解决第一人称视角下的人体姿态估计问题，特别是在自遮挡和视角变化等挑战下的准确性问题。
提供机构：
PICO
创建时间：
2024-08-30
AI搜集汇总
数据集介绍
构建方式
EMHI数据集的构建采用了多模态融合的方法，结合了头部佩戴的显示设备（HMD）和身体穿戴的惯性测量单元（IMU）的数据。数据收集过程中，参与者执行了各种动作，同时通过头戴设备上的双目向下倾斜相机和身体上的IMU传感器收集数据。为了确保数据的高质量，使用了多视图相机系统进行SMPL格式的地面真实数据获取，并通过IMU数据进行准确性和一致性改进。数据采集系统包括EgoSensorKit、Kinect系统和Optitrack系统，三者协同工作，实现了数据的时空同步和空间对齐。此外，数据集还包含了在不同环境光照条件下收集的数据，以增强数据集的多样性。
特点
EMHI数据集的特点在于其多模态性和高质量的数据。数据集提供了同步的双目向下倾斜的第一人称视角图像和全身IMU信号，并包含SMPL格式的准确人体姿态标注。数据集由58位参与者执行39种动作的885个序列组成，总记录时间约为28.5小时。此外，数据集还包括个体属性，如身高、BMI和服装描述，以及动作标签。为了验证数据集的可靠性，进行了与基于光学标记的SMPL拟合结果的比较，结果表明数据集具有较高的准确性。
使用方法
EMHI数据集的使用方法涉及多个方面。首先，数据集可以用于训练和评估基于图像或IMU信号的人体姿态估计方法。其次，数据集的多模态特性使其成为开发融合视觉和IMU数据的多模态人体姿态估计方法的重要资源。此外，数据集还可以用于研究人体运动分析、虚拟现实/增强现实应用等领域。为了进一步推动该领域的研究，研究团队还提出了MEPoser，一种新的基准方法，该方法利用多模态融合编码器、时间特征编码器和基于MLP的回归头来实现实时的人体姿态估计。在EMHI数据集上的实验结果表明，MEPoser在准确性方面优于现有的单模态方法，并展示了多模态数据融合在解决第一人称人体姿态估计问题中的价值。
背景与挑战
背景概述
EMHI数据集是一项针对VR/AR应用中的第一人称视角人体姿态估计（HPE）的多模态数据集。该数据集由Zhen Fan等人于2024年8月提出，旨在克服现有方法中由于自遮挡、视角变化、IMU数据的稀疏性和漂移等问题导致的准确率低下的难题。EMHI数据集提供了来自真实VR设备头戴式显示器（HMD）的双目向下倾斜相机拍摄的第一人称视角图像和来自身体穿戴式IMU的信号，以及SMPL格式的姿态标注。该数据集包含了58名受试者执行的39个动作的885个序列，总时长约为28.5小时。EMHI数据集的发布对于推动第一人称视角HPE的研究具有重要意义，并为VR/AR产品的实际应用提供了宝贵的数据资源。
当前挑战
EMHI数据集在解决第一人称视角HPE问题方面面临着以下挑战：1）第一人称视角图像中的自遮挡和视角变化导致难以获取准确的全身体姿态；2）IMU数据的稀疏性和漂移问题限制了姿态估计的准确性。为了应对这些挑战，EMHI数据集采用了多模态融合的方法，结合第一人称视角图像和IMU数据，以提供更全面和准确的人体姿态估计。此外，EMHI数据集的构建过程中也面临着一些挑战，例如：1）需要保证多模态数据的同步性和精确性；2）需要解决标注过程中可能出现的错误和偏差。为了克服这些挑战，EMHI数据集采用了先进的硬件设备和算法，并通过多次验证和手动检查确保数据质量。
常用场景
经典使用场景
EMHI数据集在VR/AR应用中具有广泛的应用前景，特别是在第一人称视角的人体姿态估计（HPE）领域。该数据集提供了同步的立体第一人称视角图像和身体穿戴的IMU信号，以及SMPL格式的姿态注释，为研究第一人称视角的人体运动提供了丰富的数据资源。
衍生相关工作
基于EMHI数据集，研究人员提出了多种新的第一人称视角HPE方法，如MEPoser等。这些方法通过融合多模态数据，提高了姿态估计的准确性和鲁棒性，为第一人称视角HPE领域的研究和应用提供了新的思路和方向。
数据集最近研究
最新研究方向
随着虚拟现实(VR)/增强现实(AR)技术的不断发展，基于第一人称视角的人类姿态估计(Egocentric Human Pose Estimation, HPE)技术对于实现沉浸式体验至关重要。EMHI数据集的提出，填补了当前研究领域的一个空白，即缺乏同时包含第一人称视角图像和惯性测量单元(IMU)信号的实时数据集。该数据集不仅为VR/AR产品提供了更具现实性的数据支持，也为HPE领域的研究提供了新的方向。研究人员可以通过该数据集进一步探索多模态数据融合在HPE中的应用，提高姿态估计的准确性和实时性。此外，EMHI数据集的发布也为VR/AR产品的实际应用提供了有力支持，有望推动HPE技术在VR/AR产品中的实际应用。
相关研究论文
- 1EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUsPICO · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录
AISHELL/AISHELL-1
Aishell是一个开源的中文普通话语音语料库，由北京壳壳科技有限公司发布。数据集包含了来自中国不同口音地区的400人的录音，录音在安静的室内环境中使用高保真麦克风进行，并下采样至16kHz。通过专业的语音标注和严格的质量检查，手动转录的准确率超过95%。该数据集免费供学术使用，旨在为语音识别领域的新研究人员提供适量的数据。
hugging_face 收录
AgiBot World
为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海模塑申城语料普惠计划中的一份子，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域 「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。
github 收录
典型分布式光伏出力预测数据集
光伏电站出力数据每5分钟从电站机房监控系统获取；气象实测数据从气象站获取，气象站建于电站30号箱变附近，每5分钟将采集的数据通过光纤传输到机房；数值天气预报数据利用中国电科院新能源气象应用机房的WRF业务系统（包括30TF计算刀片机、250TB并行存储）进行中尺度模式计算后输出预报产品，每日8点前通过反向隔离装置推送到电站内网预测系统。
国家基础学科公共科学数据中心 收录
熟肉制品在全国需求价格弹性分析数据
为更好了解各市对熟肉制品的市场需求情况，本行业所有企业对相关熟肉制品需求弹性数据进行采集计算。如果熟肉制品需求量变动的比率大于价格变动的比率，那么熟肉制品需求富有弹性，说明顾客对于熟肉制品价格变化的敏感程度大，弹性越大，需求对价格变化越敏感，本行业所有企业可以在该市适当的降低熟肉制品价格来获得较多的收益。如果熟肉制品需求缺乏弹性，本行业所有企业可以在该市适当的提高熟肉制品价格来获得较多的收益。该项数据对本行业所有企业在全国的市场营销决策有重要意义。1.数据采集：采集相关熟肉制品在某一时间段全国的的需求数据和价格数据，按照市级进行整理归纳，得到该熟肉制品的需求量变动数值和价格变化数值。 2.算法规则：对采集得到的数据按照如下公式进行计算：需求弹性系数Ed=-(△Q/Q)÷(△P/P），得到需求弹性系数。式中：Q表示产品的需求量，单位为份；P表示产品的价格，单位为元；△Q表示需求量同比变动值，单位为份；△P表示价格同比变动值，单位为元。取需求弹性系数的绝对值|Ed|作为分析数据时的参考系数。 3.数据分析：根据|Ed|的数值可分析该熟肉制品的需求价格弹性。（1）|Ed|=1（单位需求价格弹性），说明需求量变动幅度与价格变动幅度相同；（2）1<|Ed|（需求富有弹性），说明需求量变动幅度大于价格变动幅度；（3）|Ed|<1（需求缺乏弹性），说明需求量变动幅度小于价格变动幅度。
浙江省数据知识产权登记平台 收录