GR4DHCI

GR4DHCI数据集由西安电子科技大学和中国海洋技术与经济研究所联合创建，旨在为桌面级人机交互提供一个自然、直观且多样化的手势识别资源。该数据集包含超过7,000个手势样本和总计382,447帧的立体红外和骨骼数据，涵盖27种不同的手部位置，以适应各种使用场景。创建过程中，数据收集自16名不同性别、身高和体型的志愿者，特别强调手部动作的自然性。GR4DHCI数据集主要应用于桌面级便携式应用的开发，旨在解决传统交互方式中存在的效率和自然性问题。

The GR4DHCI dataset, jointly created by Xidian University and the China Institute of Marine Technology and Economy, aims to provide a natural, intuitive and diverse gesture recognition resource for desktop-level human-computer interaction. It contains over 7,000 gesture samples and a total of 382,447 frames of stereo infrared and skeletal data, covering 27 distinct hand positions to suit various usage scenarios. During its development, data was collected from 16 volunteers with different genders, heights and body types, with particular emphasis on the naturalness of hand movements. The GR4DHCI dataset is primarily applied to the development of desktop-level portable applications, and is designed to address the efficiency and naturalness issues existing in traditional interaction methods.

搜集汇总

数据集介绍

构建方式

在桌面级人机交互领域，GR4DHCI数据集的构建采用了Leap Motion Controller作为核心采集设备，以捕捉立体红外图像与三维骨骼序列。该数据集通过招募16名不同性别、身高和体型的志愿者，在27种预设手部位置下执行七类动态手势，模拟了真实桌面交互中的自然姿态变化。数据采集过程中，每位参与者依据随机生成的指令序列完成手势动作，确保了样本的多样性与随机性。立体红外流以640×480像素分辨率、30帧/秒的速率记录，同时骨骼模态提供每帧25个关节点的三维坐标，最终汇集了超过7,000个手势样本，共计382,447帧数据，为桌面级手势识别研究提供了高保真的多模态资源。

特点

GR4DHCI数据集的显著特点在于其视角独特性与数据多样性。作为首个专注于桌面级俯视视角的手势数据集，它突破了传统前视采集的局限，更贴合用户长时间自然交互的舒适需求。数据集涵盖七类基础动态手势，包括滑动、移动与缩放等操作，并引入了27种手部空间位置组合，覆盖了桌面交互中可能出现的不同高度、深度与角度变化。此外，手势持续时间呈现较大差异，同一类手势的最长与最短帧数相差可达89帧，这种时序上的丰富变异增强了数据集的真实性与挑战性，为模型鲁棒性评估提供了理想基准。

使用方法

GR4DHCI数据集适用于多模态手势识别算法的训练与评估。研究者可分别利用其立体红外图像流与骨骼序列流，进行基于视觉或骨骼模态的独立模型开发，例如采用卷积LSTM处理图像序列或图卷积网络分析骨骼拓扑结构。数据集已按参与者划分为训练集与测试集，包含5,550个训练样本与1,129个测试样本，支持跨主体泛化能力验证。为进一步提升模型性能，可引入论文提出的细粒度分类模块，该模块融合了手部形状特征与骨骼轨迹相似性计算，通过校正原始识别结果，显著提高了多模态融合的准确率，为桌面级轻量级交互应用提供了可复现的实验框架。

背景与挑战

背景概述

在桌面级人机交互技术演进历程中，手势识别作为自然交互的核心组成部分，长期以来受到学术界与工业界的广泛关注。GR4DHCI数据集由西安电子科技大学等机构的研究团队于近年创建，旨在填补桌面级（俯视视角）手势识别领域的数据空白。该数据集聚焦于解决在自然桌面环境下，利用轻量级捕捉设备（如Leap Motion控制器）进行高效手势交互的核心研究问题。其通过采集超过7,000个手势样本，涵盖立体红外与骨骼序列双模态数据，并引入27种不同手部位置以模拟真实交互场景，显著提升了数据的多样性与实用性。GR4DHCI的建立为桌面级便携应用开发提供了关键资源，推动了自然手势交互技术在提升生产力与用户体验方面的深入研究。

当前挑战

GR4DHCI数据集所针对的桌面级手势识别领域，面临着手势动态性高、类内差异大以及环境干扰等固有挑战。具体而言，手势持续时间存在显著波动（最短6帧至最长317帧），且同一手势在不同执行者或位置下呈现形态多样性，这要求识别模型具备强大的时空建模与泛化能力。在数据集构建过程中，研究团队需克服数据采集的自然性与一致性平衡难题：为确保手势直观舒适，设计了七类动态手势并模拟多位置交互，但随之引入了背景噪声、手部遮挡及视角变化等复杂性。此外，双模态数据（立体红外与骨骼序列）的同步对齐与质量保障，亦对采集流程与标注精度提出了较高要求。

常用场景

经典使用场景

在桌面级人机交互领域，GR4DHCI数据集为手势识别研究提供了关键基准。该数据集通过Leap Motion控制器采集了自上而下的视角数据，模拟了用户在日常计算机操作中自然放置手部的真实场景。其经典使用场景集中于评估和优化动态手势识别模型，特别是针对滑动、移动和缩放等七类常见桌面交互手势。研究者利用其双模态（立体红外与骨骼序列）数据，能够深入探索多模态融合方法在提升识别精度方面的潜力，为桌面级轻量级手势捕获设备的算法开发奠定基础。

解决学术问题

GR4DHCI数据集有效解决了桌面级手势识别研究中数据视角单一和自然性不足的学术难题。传统数据集多采用正面或第一人称视角，要求用户抬手操作，易导致疲劳且不符合实际桌面交互习惯。该数据集通过引入27种不同手部位置和多样化的手势时长，涵盖了真实环境下的空间变异性和时间动态性，为研究手势在自然状态下的时空特征建模提供了丰富样本。其意义在于推动了桌面级交互手势的细粒度分类研究，并为跨视角、跨模态的手势识别算法提供了可靠的验证平台。

衍生相关工作

基于GR4DHCI数据集，研究者已衍生出一系列经典工作，主要集中在多模态融合与细粒度分类方法的创新。例如，结合拓扑可学习图卷积网络（TL-GCN）和卷积长短期记忆网络（ConvLSTM）的双模态识别框架，显著提升了手势分类的准确率。此外，该数据集催生了细粒度分类块（FGCB）的设计，通过融合红外图像的手形特征与骨骼轨迹的几何运动特征，进一步优化了模型性能。这些工作不仅推动了桌面级手势识别算法的发展，也为后续研究如跨数据集迁移学习和实时手势控制系统提供了重要参考。