EHWGesture

EHWGesture是一个大规模的多模态视频数据集，用于动态手势理解。该数据集包含五个常用于临床手灵巧度评估的手势，共超过1,100次试验，每次试验持续20秒，总时长超过六小时。数据集使用两台高分辨率的RGB-Depth相机和一台事件相机进行录制，所有录制均在运动捕捉系统的跟踪范围内进行，该系统能够精确跟踪手部关键点，并提供精确的地面真实标签。此外，数据集中的部分手势还以不同的执行速度进行录制，以模拟临床手部灵巧度评估的差异。

EHWGesture is a large-scale multimodal video dataset designed for dynamic gesture understanding. This dataset encompasses five gestures commonly used in clinical hand dexterity assessments, with over 1,100 trials in total. Each trial lasts 20 seconds, resulting in a total duration of more than six hours. The dataset is recorded using two high-resolution RGB-Depth cameras and one event camera, and all recordings are conducted within the tracking scope of a motion capture system. This system can accurately track hand keypoints and provide precise ground-truth labels. Furthermore, some gestures in the dataset are also recorded at varying execution speeds to simulate the differences in clinical hand dexterity assessments.

搜集汇总

数据集介绍

构建方式

在临床手势理解研究领域，数据采集的精确性与多模态融合成为关键挑战。EHWGesture数据集通过整合25名健康受试者的动态手势表现，构建了包含五类临床相关手势的大规模多模态视频资源。数据采集采用两套高分辨率RGB-Depth摄像头与事件相机协同工作，结合运动捕捉系统提供手部关键标志点的毫米级精度追踪。所有设备经过空间校准与时间同步，确保跨模态数据对齐，同时通过节拍器控制部分手势的执行速度，模拟临床手部灵活性评估场景。

特点

该数据集的核心价值体现在其多维度技术特性上。超过1,100段录制视频（约6小时）涵盖三种同步采集的数据模态：1920×1080像素的RGB视频、640×480像素的深度信息，以及事件相机以100MHz采样率捕获的动态视觉流。独特之处在于融合了正交视角的双RGB-D摄像头布局与事件相机的毫秒级时序解析能力，配合运动捕捉系统提供的金标准标注，为时空手势分析建立了可靠基准。特别设计的变速执行手势进一步扩展了动作质量评估的研究维度。

使用方法

针对临床手势理解的研究需求，该数据集支持多层次任务开发。研究者可利用同步多模态数据流进行手势分类模型训练，通过运动捕捉标注实现精准的时序动作分割，或基于变速手势数据开发动作质量评估算法。数据预处理阶段可通过MediaPipe等工具提取手部边界框，结合运动捕捉数据验证三维手部追踪效果。实验表明，融合多模态输入能显著提升分类性能，而长时序窗口对速度评估任务具有关键作用，为临床运动障碍分析提供了可扩展的技术框架。

背景与挑战

背景概述

在临床神经学评估中，手部动态手势的精确识别对于运动障碍疾病的自动化诊断具有重要意义。EHWGesture数据集由意大利都灵理工大学与布鲁诺·凯斯勒基金会等机构于2025年联合发布，聚焦于帕金森病评定量表中五种典型手部灵巧性动作的 multimodal 理解。该数据集通过整合高分辨率RGB-D相机、事件相机与运动捕捉系统，收录了25名健康受试者超过1100段同步记录，总时长约6小时。其创新性在于将动作执行速度作为临床评估指标，为手势理解研究提供了兼具时空精度与临床关联性的基准数据。

当前挑战

动态手势理解面临复杂时空特征建模的固有难题，现有数据集常受限于模态单一、视角固定及标注精度不足。EHWGesture构建过程中需攻克多设备时空校准的技术壁垒，确保RGB-D、事件流与运动捕捉数据在毫米级精度下的跨模态对齐。临床手势质量评估要求将执行速度参数化为分类任务，这对数据采集协议设计提出更高要求。此外，运动捕捉标记物对RGB与深度数据的干扰抑制、长时程记录中的动作周期分割，均为数据集构建带来工程挑战。

常用场景

经典使用场景

在临床手部灵活性评估领域，EHWGesture数据集通过整合多模态数据与精确的动作质量标注，为动态手势理解提供了标准化基准。该数据集包含五种基于帕金森病统一评分量表的手势，如手指敲击和手掌旋前旋后，其多视角同步采集的RGB、深度与事件相机数据，能够有效支撑手势分类、触发检测及执行速度评估等核心任务。

衍生相关工作

基于该数据集的多模态融合框架催生了多项创新研究，例如结合对比学习预训练策略的跨模态表征对齐方法，以及利用运动捕捉真值验证的3D手部追踪模型。这些工作进一步拓展至病理手势分析领域，如帕金森病视频分期模型PECOP的预训练优化，推动了多传感器协同在临床手势理解中的标准化应用。

数据集最近研究

最新研究方向

在临床手势理解领域，EHWGesture数据集正推动多模态动态手势分析的前沿探索。该数据集整合了高分辨率RGB-D摄像头与事件相机的同步数据，并引入运动捕捉系统提供精确手部关键点追踪，为克服传统动态手势识别中时空变化复杂性和多视角缺失的挑战提供了新基准。当前研究聚焦于融合多模态信息以提升手势分类与动作质量评估的精度，尤其在帕金森病等运动障碍的自动化临床评估中，通过控制手势执行速度模拟真实病理条件，为动作质量分析任务注入了创新维度。此外，跨模态对比学习与多视角数据融合策略正成为优化模型泛化能力的热点，其通过时空对齐的多源数据支撑手势触发检测与质量评估的协同优化，对推动智能医疗诊断与自然人机交互技术的发展具有深远意义。

相关研究论文

• 通过

  Politecnico di Torino, Fondazione Bruno Kessler, CNR-IEIIT · 2025年