IPN Hand

IPN Hand数据集是由国立电讯大学和墨西哥国立理工学院共同创建，专注于连续手势识别，包含超过4000个手势样本和800,000帧RGB视频，涉及50名不同参与者。数据集设计了13种静态和动态手势，主要用于无触摸屏幕交互。创建过程中，数据收集自约30个不同场景，考虑了背景和光照的实际变化。该数据集的应用领域广泛，包括汽车行业、消费电子、家庭自动化等，旨在解决连续手势识别中的实时性和准确性问题。

IPN Hand Dataset was jointly developed by the National Telecommunications University and the National Polytechnic Institute of Mexico (IPN). Focused on continuous gesture recognition, this dataset comprises more than 4,000 gesture samples and 800,000 RGB video frames, involving 50 distinct participants. The dataset includes 13 categories of static and dynamic gestures, which are primarily designed for touchless screen interaction. During the creation of this dataset, data was collected from approximately 30 distinct scenarios, with practical variations in background and lighting taken into full consideration. This dataset finds broad application across multiple domains including the automotive industry, consumer electronics, home automation and more, aiming to address the challenges of real-time performance and accuracy in continuous gesture recognition.

原始信息汇总

IPN Hand 数据集概述

数据集详情

视频规格

• 分辨率：640x480
• 帧率：30 fps
• 视频类型：仅包含 RGB 视频

手势定义

• 总手势数：21 种
• 控制指针和无触摸屏幕交互的手势：13 种

手势统计

id	标签	手势	实例数	平均持续时间（标准差）
1	D0X	非手势	1431	147 (133)
2	B0A	单指指向	1010	219 (67)
3	B0B	双指指向	1007	224 (69)
4	G01	单指点击	200	56 (29)
5	G02	双指点击	200	60 (43)
6	G03	向上抛	200	62 (25)
7	G04	向下抛	201	65 (28)
8	G05	向左抛	200	66 (27)
9	G06	向右抛	200	64 (28)
10	G07	双开	200	76 (31)
11	G08	单指双击	200	68 (28)
12	G09	双指双击	200	70 (30)
13	G10	放大	200	65 (29)
14	G11	缩小	200	64 (28)
		所有非手势	1431	147 (133)
		所有手势	4218	140 (94)
		总计	5649	142 (105)

基准结果

• 基准结果：可在 此处 找到 IPN Hand 数据集的孤立和连续手势识别的基准结果。

使用要求

• 软件要求：
  • Python 3.5+
  • PyTorch 1.0+
  • TorchVision
  • Pillow
  • OpenCV

预训练模型

• 模型列表：
  • ResNeXt-101 模型
  • ResNet-50 模型
  • HarDNet 模型（即将发布）
  • 光流模型

使用方法

准备

1. 从 此处 下载数据集。

2. 克隆此仓库： console $ git clone https://github.com/GibranBenitez/IPN-hand

3. 将所有预训练模型存储在 ./report_ipn/ 目录下。

孤立测试

• 修改 ./tests/run_offline_ipn_Clf.sh 中的数据集路径并运行： bash $ bash run_offline_ipn_Clf.sh

连续测试

• 修改 ./tests/run_online_ipnTest.sh 中的数据集路径并运行： bash $ bash run_online_ipnTest.sh

引用

如果您在研究中使用了 IPN Hand 数据集，请引用以下论文：

bibtex @inproceedings{bega2020IPNhand, title={IPN Hand: A Video Dataset and Benchmark for Real-Time Continuous Hand Gesture Recognition}, author={Benitez-Garcia, Gibran and Olivares-Mercado, Jesus and Sanchez-Perez, Gabriel and Yanai, Keiji}, booktitle={25th International Conference on Pattern Recognition, {ICPR 2020}, Milan, Italy, Jan 10--15, 2021}, pages={1--8}, year={2021}, organization={IEEE}, }

许可证

• 代码许可证：MIT 许可证
• 数据和标注许可证：Creative Commons Attribution 4.0 License

搜集汇总

数据集介绍

构建方式

IPN Hand数据集通过精心设计的实验方案构建，涵盖了50名不同背景的参与者，在30个多样化的场景中采集了超过4,000个手势样本和800,000帧RGB视频。数据集设计了13种静态和动态手势，专注于无接触屏幕的交互。特别考虑了连续手势无过渡状态和自然手部动作作为非手势行为的情况，确保了数据集的真实性和复杂性。

使用方法

IPN Hand数据集适用于实时连续手势识别任务的训练和评估。研究者可以使用该数据集训练3D卷积神经网络（3D-CNN）模型，并通过添加多模态数据（如光流和语义分割）来提升识别精度。数据集的公开可用性使得研究社区能够在此基础上进一步推动连续手势识别技术的发展。

背景与挑战

背景概述

手势识别（Hand Gesture Recognition, HGR）作为人机交互的重要组成部分，广泛应用于汽车、消费电子、家庭自动化等领域。近年来，深度学习模型在HGR中取得了显著进展，但现有公开数据集在真实世界元素的覆盖上仍显不足。IPN Hand数据集由日本电气通信大学和墨西哥国立理工学院的研究团队于2020年创建，旨在解决连续手势识别中的实际问题。该数据集包含超过4,000个手势样本和800,000帧RGB视频，涵盖50名不同受试者在30个多样场景中的手势表现。IPN Hand数据集的设计特别关注连续手势的无过渡状态和自然手部动作，为深度神经网络的训练和评估提供了丰富的真实世界元素。

当前挑战

IPN Hand数据集在构建过程中面临多项挑战。首先，连续手势识别需要处理无过渡状态的手势，这增加了模型识别的复杂性。其次，数据集需包含自然手部动作作为非手势状态，以模拟真实应用中的在线行为。此外，数据集的场景多样性，包括背景杂乱和光照条件变化，进一步提升了识别难度。最后，手势类别的持续时间变化较大，要求模型具备高度的鲁棒性和适应性。这些挑战不仅反映了手势识别领域的核心问题，也为未来研究提供了丰富的探索空间。

常用场景

经典使用场景

IPN Hand数据集在连续手势识别（HGR）领域中具有经典的使用场景，主要用于训练和评估深度神经网络模型。该数据集包含超过4,000个手势样本和800,000帧RGB视频，涵盖了50个不同受试者的13种静态和动态手势。这些手势设计用于无触摸屏幕的交互，特别关注连续手势的无过渡状态和受试者的自然手部动作。通过使用IPN Hand数据集，研究人员可以评估和改进现有的3D-CNN模型，以实现更准确和高效的连续手势识别。

解决学术问题

IPN Hand数据集解决了连续手势识别中的多个学术研究问题。首先，它填补了现有公开数据集中缺乏真实世界元素的空白，使得研究人员能够构建响应迅速且高效的HGR系统。其次，该数据集特别关注连续手势的无过渡状态和自然手部动作，这两个问题在现有数据集中很少被覆盖。通过提供多样化的场景和光照条件，IPN Hand数据集帮助研究人员解决手势识别中的类内变异和延迟分类等问题。这些问题的解决对于推动连续手势识别技术的发展具有重要意义。

实际应用

IPN Hand数据集在实际应用中具有广泛的应用场景。例如，在汽车行业中，驾驶员可以通过手势控制车载设备，提高驾驶安全性。在消费电子产品中，用户可以通过手势与智能电视或智能手机进行交互，提供更直观的用户体验。此外，在家居自动化领域，用户可以通过手势控制灯光、窗帘等设备，实现智能家居的便捷操作。这些应用场景都需要高效的连续手势识别技术，而IPN Hand数据集为这些技术的开发和优化提供了宝贵的资源。

数据集最近研究

最新研究方向

在人机交互领域，连续手势识别（HGR）的研究正朝着更真实、更高效的方向发展。IPN Hand数据集的引入，为这一领域提供了新的基准，其包含了超过4,000个手势样本和800,000帧RGB图像，涵盖了50个不同主体的多样化场景。该数据集特别关注无过渡状态的连续手势和自然手部动作，这些特性使得IPN Hand成为评估和训练深度神经网络的理想选择。最新研究方向包括利用3D卷积神经网络（3D-CNN）进行实时手势识别，并通过融合RGB帧的多模态数据（如光流和语义分割）来提高识别精度。此外，研究还探讨了如何在保持实时性能的同时，通过数据级融合提升模型的鲁棒性和准确性。IPN Hand数据集的发布，不仅为学术界提供了一个标准化的评估平台，还推动了连续手势识别技术在实际应用中的进一步发展。

相关研究论文

• IPN Hand: A Video Dataset and Benchmark for Real-Time Continuous Hand Gesture Recognition

  国立电讯大学 · 2020年