MM-Fi

MM-Fi数据集是由南洋理工大学电气与电子工程学院创建的多模态非侵入式4D人体数据集，包含来自40个不同人体对象的超过320,760个同步帧，涵盖27种日常或康复动作类别。数据集通过定制的传感器平台收集，包括RGB图像、深度图像、LiDAR点云、mmWave雷达点云和WiFi CSI数据。该数据集旨在弥合无线传感与高级人体感知任务之间的差距，支持如人体姿态估计和动作识别等潜在传感任务。MM-Fi数据集的应用领域广泛，包括智能城市、增强现实和虚拟现实、动画和康复等，为机器学习、计算机视觉和移动计算等领域的研究提供了丰富的资源。

The MM-Fi dataset is a multimodal non-invasive 4D human body dataset created by the School of Electrical and Electronic Engineering, Nanyang Technological University. It contains over 320,760 synchronized frames from 40 distinct human subjects, covering 27 categories of daily or rehabilitation movements. Collected via a customized sensor platform, the dataset includes RGB images, depth images, LiDAR point clouds, mmWave radar point clouds, and WiFi CSI data. This dataset aims to bridge the gap between wireless sensing and advanced human perception tasks, supporting potential sensing applications such as human pose estimation and action recognition. The MM-Fi dataset has broad application scenarios including smart cities, augmented reality (AR), virtual reality (VR), animation, rehabilitation and more, providing abundant resources for research in fields such as machine learning, computer vision and mobile computing.

搜集汇总

数据集介绍

构建方式

在无线感知技术日益成为隐私保护型人机交互核心的背景下，MM-Fi数据集通过精心设计的移动传感平台构建而成。该平台集成了Ouster OS1 32线激光雷达、TI IWR6843毫米波雷达、Intel RealSense D435立体深度相机以及TP-Link N750 WiFi接入点，通过搭载机器人操作系统（ROS）的微型电脑实现多模态数据的高精度同步采集。数据收集过程中，平台与40位受试者保持3米距离，每位受试者执行27类日常或康复动作，持续30秒，最终形成包含超过32万帧同步数据的多模态序列。所有传感器数据均以10赫兹的统一采样率进行时间对齐，并通过坐标系统一与后处理，确保数据的一致性与可用性。

使用方法

MM-Fi数据集适用于多种无线感知任务，包括单模态或多模态的人体姿态估计、骨架驱动的动作识别及跨模态监督学习。研究者可通过官方提供的PyTorch数据加载工具便捷地访问同步后的多模态数据与对应注释。数据集中预设了三种协议（日常动作、康复动作、全动作）与三种划分策略（随机划分、跨受试者划分、跨环境划分），支持模型在多样化场景下的性能评估。此外，数据集鼓励探索新兴研究方向，如基于毫米波雷达或WiFi的细粒度姿态估计、多模态融合算法设计以及无线感知中的域适应与泛化问题。

背景与挑战

背景概述

在智能家居与元宇宙等应用场景中，四维人体感知技术扮演着核心角色。然而，依赖摄像头与可穿戴设备的传统方案常受限于隐私侵犯或使用不便。为应对这一挑战，无线感知技术应运而生，其利用激光雷达、毫米波雷达及WiFi信号实现无设备人体感知。2023年，南洋理工大学与爱丁堡大学的研究团队联合推出了MM-Fi数据集，作为首个多模态非侵入式四维人体数据集，旨在弥合无线感知与高级人体感知任务之间的鸿沟。该数据集涵盖40名受试者的27类日常或康复动作，提供超过32万帧同步的五模态数据，并附有丰富注释以支持姿态估计与动作识别等任务。MM-Fi的创立不仅推动了无线感知领域在动作识别、姿态估计及多模态学习等方面的研究，也为跨学科健康医疗应用提供了关键数据支撑。

当前挑战

MM-Fi数据集致力于解决无线人体姿态估计与动作识别领域的核心挑战，其首要难题在于如何利用低分辨率、稀疏的无线信号（如WiFi信道状态信息与毫米波雷达点云）实现高精度三维人体姿态重建，这要求算法具备强大的特征提取与噪声抑制能力。在数据集构建过程中，研究团队面临多模态数据同步的复杂性，需通过定制化移动传感器平台与机器人操作系统实现五模态数据的高精度时序对齐；同时，数据标注工作亦充满挑战，需结合深度学习模型与优化算法，在存在遮挡或动作幅度较大的情况下确保二维与三维关键点注释的准确性。此外，数据集的多样性与泛化能力亦受限于受试者数量、环境变化及动作类别的覆盖范围，未来需进一步扩展以支持更广泛的应用场景。

常用场景

经典使用场景

在无线感知与计算机视觉交叉领域，MM-Fi数据集为多模态非侵入式人体感知研究提供了关键支撑。该数据集通过同步采集RGB图像、深度图像、激光雷达点云、毫米波雷达点云及WiFi信道状态信息五种模态数据，构建了涵盖27类日常与康复动作的丰富样本库。其经典应用场景集中于高精度三维人体姿态估计，研究者可基于多模态数据融合策略，在隐私保护、光照鲁棒性及设备无关性约束下，实现复杂场景中人体关节点的三维坐标重建，为智能家居、元宇宙虚拟化身仿真等应用奠定感知基础。

解决学术问题

MM-Fi数据集有效应对了传统视觉感知方案在隐私侵入、环境敏感性与用户依从性等方面的局限。通过整合五种非侵入式传感模态，该数据集为跨模态监督学习、多模态融合算法、领域自适应泛化等前沿方向提供了基准测试平台。其标注体系包含二维/三维关键点、动作类别、三维位置及密集姿态信息，支持从粗粒度动作识别到细粒度姿态估计的多层次研究任务，显著推动了无线感知与高级人体理解任务之间的鸿沟弥合。

实际应用

在实际部署层面，MM-Fi数据集支撑的感知技术已渗透至医疗康复、智能家居与沉浸式交互等多个领域。在医疗场景中，基于毫米波雷达与WiFi的康复动作监测系统可实现无接触式患者运动评估，规避传统摄像头的隐私泄露风险。在智慧家居环境中，多模态融合感知方案能够通过墙体穿透性信号实现跨房间人体活动识别，为跌倒检测、日常行为分析提供可靠数据源。此外，该数据集还为自动驾驶舱内监测、虚拟现实动作映射等新兴应用提供了跨模态标注范本。

数据集最近研究

最新研究方向

在非侵入式无线感知领域，MM-Fi数据集正推动多模态融合与跨模态监督的前沿探索。该数据集整合了RGB-D、LiDAR、毫米波雷达与WiFi CSI五种模态，为高精度4D人体姿态估计与动作识别提供了首个同步多源基准。当前研究聚焦于利用模态间的互补特性，开发鲁棒的多传感器融合算法，以应对复杂环境下的光照变化、隐私保护与遮挡挑战。同时，跨模态监督学习成为热点，旨在通过高分辨率模态（如RGB）引导低分辨率无线信号（如WiFi）实现细粒度感知，拓展其在医疗康复与智能家居中的应用边界。这些进展不仅深化了无线感知的理论体系，也为元宇宙化身仿真、无障碍人机交互等跨学科研究提供了关键数据支撑。

相关研究论文

• MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing

  南洋理工大学电气与电子工程学院 · 2023年