MM-Fi|人体姿态估计数据集|多模态数据数据集

MM-Fi是首个多模态非侵入式4D人体姿态估计数据集，包含27种日常或康复动作类别，适用于高级无线人体传感任务。该数据集包含来自40个人类受试者的五种模态的超过320k同步帧。标注信息包括2D/3D人体姿态关键点、3D位置、3D密集姿态和动作类别。

MM-Fi is the first multimodal non-invasive 4D human pose estimation dataset, encompassing 27 categories of daily or rehabilitation activities, suitable for advanced wireless human sensing tasks. This dataset includes over 320k synchronized frames from five modalities across 40 human subjects. The annotations comprise 2D/3D human pose keypoints, 3D positions, 3D dense poses, and activity categories.

原始信息汇总

MM-Fi 数据集概述

数据集介绍

MM-Fi 是首个多模态非侵入式4D人体姿态估计数据集，包含27种日常或康复动作类别，适用于高级无线人体传感任务。该数据集包含来自40名人类受试者的五种模态的超过320,000个同步帧，涵盖四个领域。标注信息包括2D/3D人体姿态关键点、3D位置、3D密集姿态及动作类别。

数据集内容

动作类别

MM-Fi 数据集包含两类动作：日常活动和康复活动，共计27种。具体动作包括：

• A01: 伸展放松
• A02: 胸部扩张（水平）
• A03: 胸部扩张（垂直）
• A04: 左转
• A05: 右转
• A06: 标记时间
• A07: 左肢伸展
• A08: 右肢伸展
• A09: 左前弓步
• A10: 右前弓步
• A11: 双肢伸展
• A12: 蹲下
• A13: 左手举起
• A14: 右手举起
• A15: 左侧面弓步
• A16: 右侧面弓步
• A17: 左手挥动
• A18: 右手挥动
• A19: 拾取物品
• A20: 左侧面投掷
• A21: 右侧面投掷
• A22: 左侧面踢
• A23: 右侧面踢
• A24: 左体伸展
• A25: 右体伸展
• A26: 跳跃
• A27: 鞠躬

数据结构

数据集的目录结构如下：

${DATASET_ROOT} |-- E01 | |-- S01 | | |-- A01 | | | |-- rgb | | | |-- mmwave | | | |-- wifi-csi | | | |-- ... | | |-- A02 | | |-- ... | | |-- A27 | |-- S02 | |-- ... | |-- S10 |-- E02 |...... |-- E03 |...... |-- E04 |......

数据集下载

数据集可通过以下链接下载：

• Google Drive: 链接
• Baidu Netdisk: 链接

引用信息

如需引用此数据集，请使用以下参考文献：

@inproceedings{ yang2023mm, title={MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing}, author={Yang, Jianfei and Huang, He and Zhou, Yunjiao and Chen, Xinyan and Xu, Yuecong and Yuan, Shenghai and Zou, Han and Lu, Chris Xiaoxuan and Xie, Lihua}, booktitle={Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track}, year={2023}, url={https://openreview.net/forum?id=1uAsASS1th} }

AI搜集汇总

数据集介绍

构建方式

MM-Fi数据集的构建基于多模态非侵入式4D人体姿态估计技术，涵盖了27种日常及康复动作类别。该数据集由40名受试者在四种不同环境中进行数据采集，共生成超过32万帧的同步数据，包括五种模态信息。数据集的标注内容包括2D/3D人体姿态关键点、3D位置、3D密集姿态及动作类别，确保了数据的多维度与高精度。

特点

MM-Fi数据集的显著特点在于其多模态数据的同步性与丰富性，涵盖了从日常到康复的广泛动作类别，支持高层次无线人体感知任务的研究。此外，数据集提供了详细的动作片段信息，并以.csv格式存储，便于研究人员进行深入分析。

使用方法

使用MM-Fi数据集时，首先需确保安装必要的依赖项，如Python 3+和Pytorch。随后，下载并解压数据集，按照提供的目录结构进行配置。用户可通过编辑.yaml配置文件来定制数据加载和处理方式，并参考示例代码进行实现。数据集支持单模态和多模态的数据处理，用户可根据研究需求选择合适的模态组合。

背景与挑战

背景概述

MM-Fi数据集是首个多模态非侵入式4D人体姿态估计数据集，专注于高级别无线人体感知任务。该数据集由27种日常或康复动作类别组成，涵盖了超过32万帧的五种模态数据，来自40名受试者在四个不同领域的同步记录。MM-Fi数据集的核心研究问题在于通过多模态数据融合实现高精度的人体姿态估计，这对于无线感知技术的进步具有重要意义。该数据集由NTU-AIOT实验室于2023年创建，并在NeurIPS 2023数据集和基准测试轨道上发布，其研究成果对推动无线感知和人体运动分析领域的发展具有深远影响。

当前挑战

MM-Fi数据集在构建过程中面临多重挑战。首先，多模态数据的同步与融合是一个复杂的技术难题，需要精确的时间戳和高效的算法来确保数据的一致性。其次，非侵入式数据采集要求设备对受试者的生活影响最小化，这增加了数据采集的难度和复杂性。此外，数据集包含的27种动作类别涵盖了日常和康复活动，要求模型具有高度的泛化能力和识别精度。最后，数据集的隐私保护问题也是一个重要挑战，特别是在公开发布匿名化数据时，需确保受试者的隐私不被泄露。

常用场景

经典使用场景

在多模态非侵入式4D人体姿态估计领域，MM-Fi数据集以其丰富的多模态数据和详细的标注信息，成为研究高级别无线人体感知任务的理想选择。该数据集包含了27种日常或康复动作类别，涵盖了超过32万帧的同步数据，适用于开发和验证多模态融合算法，特别是在需要高精度人体姿态估计的应用场景中，如虚拟现实、运动分析和康复监测。

衍生相关工作

基于MM-Fi数据集，研究者们已经开展了一系列相关工作，包括多模态数据融合算法的研究、跨域人体姿态估计模型的开发以及非侵入式无线感知技术的应用。这些工作不仅提升了现有技术的性能，还为未来的研究提供了新的方向和思路。例如，有研究利用该数据集开发了新的多模态融合模型，显著提高了人体姿态估计的准确性和鲁棒性。

数据集最近研究

最新研究方向

在多模态非侵入式4D人体姿态估计领域，MM-Fi数据集的最新研究方向主要集中在跨模态融合与跨域适应上。该数据集通过整合多种传感器数据，如RGB图像、毫米波、WiFi CSI等，为高层次无线人体感知任务提供了丰富的数据支持。研究者们正致力于开发能够有效融合这些多模态数据的方法，以提升姿态估计的准确性和鲁棒性。此外，MM-Fi数据集的跨域特性也激发了研究者在不同环境设置下进行模型适应性研究，以确保在各种实际应用场景中的广泛适用性。这些研究不仅推动了无线感知技术的发展，也为康复和日常活动监测等应用提供了新的可能性。