CZU-MHAD

CZU-MHAD是由江苏数字孪生技术工程研究中心创建的综合性多模态人类动作数据集，包含22种动作和三种模态的时间同步数据。数据集通过Kinect v2相机收集深度视频和骨骼位置，以及通过10个穿戴式传感器收集惯性信号，旨在更准确地描述人体主要运动关节的信息。创建过程中，数据集通过Raspberry PI与MPU9250传感器交互，实现数据的读取、保存和上传。该数据集适用于研究人体动作识别、姿态估计、疾病诊断等领域，特别在动作协调性研究中具有重要价值。CZU-MHAD is a comprehensive multimodal human action dataset created by the Jiangsu Engineering Research Center for Digital Twin Technology. It contains time-synchronized data of 22 actions across three modalities. The dataset collects depth videos and skeleton positions via a Kinect v2 camera, as well as inertial signals through 10 wearable sensors, aiming to more accurately describe the kinematic information of major human joints. During its creation, the dataset interacted with MPU9250 sensors via a Raspberry PI to realize data reading, storage and uploading. This dataset is applicable to research fields such as human action recognition, pose estimation, disease diagnosis and other related areas, and is particularly valuable in the study of motor coordination.

搜集汇总

数据集介绍

构建方式

在人体动作识别领域，多模态数据融合已成为提升识别精度的关键路径。CZU-MHAD数据集通过精心设计的采集系统构建而成，其核心在于同步获取深度视频、骨骼位置及惯性信号三类模态数据。具体而言，研究团队利用一台Kinect v2深度相机捕捉30帧/秒的深度图像，并借助SDK提取25个骨骼关节的三维坐标；同时，将10个MPU9250可穿戴惯性传感器分别固定于人体主要运动关节（如腕部、肘部、膝部等），以采集这些部位的三轴加速度与三轴角速度数据。为确保多模态数据的时间同步性，系统通过NTP服务器进行时钟校准，使得深度相机与惯性传感器能够协同工作，最终形成包含22类动作、共880个样本的高质量数据集。

特点

CZU-MHAD数据集在人体动作识别研究中展现出鲜明的多模态与高覆盖特性。其最突出的特点在于传感器布局的全面性：相较于同类数据集通常仅配备少量传感器，该数据集在人体10个关键运动关节部署惯性传感器，从而能更精细地刻画动作执行时各部位的动力学特征。此外，数据集提供了深度视频、骨骼关节坐标及惯性信号（加速度与角速度）三种模态的时序同步数据，这种多源信息互补的结构有助于从空间结构、运动轨迹及力学变化等多个维度综合描述动作。数据集中包含的22类动作涵盖手势绘制、日常活动与专项训练等多种类型，且由5名受试者在受控环境下重复完成，确保了数据的多样性与一致性，为研究人体动作的结构性关系与多模态融合方法提供了坚实基础。

使用方法

该数据集适用于人体动作识别、姿态估计及行为分析等多类研究任务。在使用时，研究者可依据具体目标灵活提取或融合不同模态的特征。例如，对于深度视频模态，可采用深度运动图（DMM）等方法提取空间-时序特征；对于骨骼数据，可计算关节位置统计量（如均值、方差）作为运动描述符；对于惯性信号，则可利用三轴加速度与角速度数据构建动作的协同结构模型。为进一步提升识别性能，可采用如联合特征选择与子空间学习（JFSSL）等多模态融合算法，将不同模态的特征投影至共享子空间，以挖掘模态间的互补信息。数据集的样本已按受试者与动作类别组织，支持闭集测试（同一受试者数据分割）与开集测试（跨受试者数据分割）两种实验设置，便于进行算法泛化能力评估。

背景与挑战

背景概述

在人工智能与计算机视觉领域，人体动作识别作为一项关键技术，已广泛应用于智能家居、安全监控及人机交互等场景。随着传感器技术的进步，多模态数据融合成为提升识别精度的重要途径。CZU-MHAD数据集由常州大学的研究团队于2022年发布，旨在通过深度摄像头与10个可穿戴惯性传感器的同步采集，构建一个涵盖22类动作的多模态数据集。该数据集不仅提供了深度视频、骨骼关节点位置，还记录了人体主要运动关节的三轴加速度与角速度数据，以更全面地捕捉动作特征，推动了多模态融合方法在动作识别中的研究与应用。

当前挑战

CZU-MHAD数据集致力于解决多模态人体动作识别中的关键挑战，其核心在于如何有效融合异构传感器数据以提升动作分类的鲁棒性与准确性。具体挑战包括：在领域层面，需克服不同模态数据（如深度图像与惯性信号）间的语义对齐与特征互补问题，以应对复杂环境下的动作变异；在构建过程中，面临多传感器时间同步、数据采集系统集成以及传感器布局优化等难题，确保10个惯性传感器能精准捕获人体关节运动信息，同时保持与深度摄像头的协同工作。

常用场景

经典使用场景

在人体动作识别领域，CZU-MHAD数据集作为多模态传感器融合的典型范例，常被用于探索深度视觉与惯性传感数据的协同表征机制。该数据集通过Kinect v2相机捕获深度视频与骨骼关节点位置，并借助10个可穿戴传感器同步采集10个主要运动关节的三轴加速度与角速度数据，为研究者提供了丰富且时间对齐的多模态信息源。其经典应用场景在于构建和验证跨模态特征融合模型，例如利用联合特征选择与子空间学习（JFSSL）等方法，将不同模态的数据投影到共享子空间，以提升动作分类的准确性与鲁棒性。

解决学术问题

CZU-MHAD数据集有效应对了多模态动作识别中传感器布局与数量不足的学术挑战。传统数据集往往仅依赖单一或少数传感器，难以全面捕捉人体动作的细微特征，而该数据集通过部署10个惯性传感器于关键运动关节，并结合深度相机，实现了对动作空间结构与动力学特性的精细刻画。这解决了多模态数据融合中的特征互补与同步性问题，为研究人体不同部位在动作执行时的结构关系提供了数据基础，推动了基于穿戴式传感与视觉融合的动作识别方法的发展，显著提升了模型在复杂场景下的泛化能力。

衍生相关工作

CZU-MHAD数据集自发布以来，已衍生出一系列围绕多模态融合与特征表达的经典研究工作。例如，研究者借鉴该数据集的传感器布局，进一步探索了基于深度运动图（DMM）与局部二值模式（LBP）结合的特征提取方法，提升了动作的空间表征能力。同时，数据集中丰富的惯性信号促进了动作协同结构模型的发展，如通过约束不同身体部位的特征贡献度来优化识别性能。此外，该数据集也为跨模态检索、时序模式识别及鲁棒融合算法（如双模态混合质心典型相关分析BHCCCA）提供了基准测试平台，推动了多模态学习在动作识别领域的算法创新与性能比较研究。