MEx: Multi-modal Exercises Dataset

MEx多模态练习数据集是由罗伯特戈登大学创建的，旨在为人体活动识别和多模态融合算法提供基准。该数据集包含7种由理疗师推荐给肌肉骨骼疾病患者的常规练习，通过压力垫、深度相机和两个加速度计四种传感器收集数据。数据集包含数值时间序列数据、视频数据和压力传感器数据，适用于研究人体活动识别和运动质量评估。

The MEx Multimodal Exercise Dataset was developed by Robert Gordon University to serve as a benchmark for human activity recognition and multimodal fusion algorithms. It encompasses seven routine exercises recommended by physiotherapists for patients with musculoskeletal disorders. Data was collected via four sensing modalities: pressure mats, depth cameras, and two accelerometers. The dataset includes numerical time-series data, video data, and pressure sensor data, and is suitable for research in human activity recognition and movement quality assessment.

搜集汇总

数据集介绍

构建方式

MEx数据集旨在为人类活动识别（HAR）和多模态融合算法提供基准测试。该数据集通过四种传感器（压力垫、深度摄像头和两个加速度计）收集了七种常见的物理治疗运动数据，这些运动由30名志愿者在受控环境下执行。数据采集过程中，志愿者根据物理治疗师的指导进行运动，传感器同步记录时间序列数据、视频数据和压力数据，确保数据的多样性和丰富性。

特点

MEx数据集的特点在于其多模态数据的融合，涵盖了数值时间序列、视频和压力传感器数据。这些数据不仅能够支持运动识别的任务，还为运动质量的评估提供了可能。数据集中的运动由物理治疗师精心选择，适合用于肌肉骨骼疾病（MSD）患者的康复训练。此外，数据集的多样性和复杂性为研究多模态传感器融合算法提供了理想的实验平台。

使用方法

MEx数据集的使用方法包括数据预处理、特征提取和模型训练。首先，通过窗口化和重叠技术对时间序列数据进行分段处理，并对视频和压力数据进行降帧和压缩。随后，使用多种特征表示方法（如DCT变换、自动编码器和卷积神经网络）提取特征。最后，利用标准分类算法（如kNN、SVM和深度学习模型）进行运动识别和性能评估。数据集还可用于探索多模态融合算法，以提升运动识别和质量评估的精度。

背景与挑战

背景概述

MEx: Multi-modal Exercises Dataset 是由Anjana Wijekoon、Nirmalie Wiratunga和Kay Cooper等人于2019年创建的多模态数据集，旨在为人类活动识别（HAR）和多模态融合算法提供基准。该数据集的创建源于对肌肉骨骼疾病（MSD）患者进行运动质量评估的需求。数据集包含七种由物理治疗师推荐的常见运动，并通过四种传感器（压力垫、深度摄像头和两个加速度计）收集数据。MEx数据集不仅为HAR任务提供了多模态数据（包括时间序列数据、视频数据和压力传感器数据），还为运动质量评估提供了新的研究方向。该数据集在物理治疗和运动康复领域具有重要的应用价值，推动了多模态数据融合技术的发展。

当前挑战

MEx数据集在解决人类活动识别和运动质量评估问题时面临多重挑战。首先，多模态数据的异构性使得数据融合和特征提取变得复杂，尤其是在处理时间序列数据、视频数据和压力数据时，如何有效整合这些不同模态的信息是一个关键问题。其次，数据采集过程中，传感器的非侵入性和用户自然运动的捕捉带来了技术难题，尤其是在确保数据质量的同时，避免对用户运动的干扰。此外，数据集中包含的用户个体差异（如体重、体型和运动习惯）增加了模型的泛化难度，尤其是在非个性化设置下，模型的性能显著下降。这些挑战要求研究者开发更先进的算法，以应对多模态数据的复杂性和个性化需求。

常用场景

经典使用场景

MEx数据集主要用于人类活动识别（HAR）和多模态融合算法的基准测试。该数据集通过多传感器（压力垫、深度摄像头和加速度计）捕捉七种常见的物理治疗练习，旨在支持肌肉骨骼疾病（MSD）患者的运动质量评估。研究人员利用该数据集进行单传感器和多传感器的分类任务，探索不同传感器在运动识别中的表现。

解决学术问题

MEx数据集解决了多模态传感器数据融合的挑战，特别是在物理治疗领域的运动识别和质量评估问题。通过提供多种数据模态（时间序列数据、视频数据和压力传感器数据），该数据集为研究人员提供了丰富的实验材料，用于开发和改进多模态融合算法。此外，该数据集还帮助解决了单传感器在复杂运动识别中的局限性问题，推动了多传感器融合技术的发展。

衍生相关工作

MEx数据集衍生了许多相关研究，特别是在多模态数据融合和运动质量评估领域。基于该数据集的研究工作包括开发基于深度学习的多传感器融合算法、探索压力传感器数据在运动质量评估中的潜力，以及利用时间序列数据进行运动识别的优化。这些研究不仅推动了HAR领域的发展，还为物理治疗和健康管理提供了新的技术解决方案。