icip17_stereo_hand_pose_dataset

该数据集是一个立体手势跟踪基准，包含6种不同背景下的序列，每种背景有两个序列，分别展示计数和随机手势。每个序列包含1500帧，总计18000帧。数据集使用Point Grey Bumblebee2立体相机和Intel Real Sense F200主动深度相机同时捕捉立体和深度图像。

This dataset serves as a benchmark for stereo hand gesture tracking, encompassing sequences across six distinct backgrounds. Each background features two sequences, one demonstrating counting gestures and the other random gestures. Each sequence comprises 1500 frames, culminating in a total of 18,000 frames. The dataset was captured using both the Point Grey Bumblebee2 stereo camera and the Intel Real Sense F200 active depth camera to simultaneously acquire stereo and depth images.

原始信息汇总

数据集概述

数据集名称

• 名称：Stereo Hand Pose Tracking Dataset

数据集描述

• 该数据集在论文“A hand pose tracking benchmark from stereo matching”中被描述，作者为Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu和Qingxiong Yang，发表于icip 2017。
• 数据集包含6种不同背景的序列，每种背景有两个序列，分别进行计数和随机姿势。每个序列包含1500帧，总计18000帧。

数据采集设备

• 使用Point Grey Bumblebee2立体相机和Intel Real Sense F200主动深度相机同时捕捉立体和深度图像。

数据集内容

1. 相机参数

   • Point Grey Bumblebee2立体相机
     • 基线 = 120.054
     • fx = 822.79041
     • fy = 822.79041
     • tx = 318.47345
     • ty = 250.31296
   • Intel Real Sense F200主动深度相机
     • fx颜色 = 607.92271
     • fy颜色 = 607.88192
     • tx颜色 = 314.78337
     • ty颜色 = 236.42484
     • fx深度 = 475.62768
     • fy深度 = 474.77709
     • tx深度 = 336.41179
     • ty深度 = 238.77962
     • 旋转向量 = [0.00531 -0.01196 0.00301]
     • 平移向量 = [-24.0381 -0.4563 -1.2326]

2. 图像

   • 所有图像位于.images文件夹中，包含12个子文件夹。Point Grey Bumblebee2立体相机的左右图像和Intel Real Sense F200主动深度相机的颜色/深度图像分别以前缀BB_left_, BB_right_, SK_color_和SK_depth_标识。
   • 深度值通常大于255，因此使用3个通道存储深度图像，深度 = r通道 + g通道*256。

3. 标签

   • 所有标签位于.labels文件夹中。Point Grey Bumblebee2立体相机和Intel Real Sense F200主动深度相机的标签分别以后缀_BB和_SK标识。
   • 每个mat文件包含一个名为handPara的数组，大小为3211500，存储了1500张图像序列中手掌中心和手指关节（共21个关节）的3D位置（x,y,z），单位为毫米。
   • 21个关节的顺序为：手掌中心（非手腕或手中心），小指MCP，小指PIP，小指DIP，小指TIP，无名指MCP，无名指PIP，无名指DIP，无名指TIP，中指MCP，中指PIP，中指DIP，中指TIP，食指MCP，食指PIP，食指DIP，食指TIP，拇指MCP，拇指PIP，拇指DIP，拇指TIP。

数据集下载

• Onedrive: https://portland-my.sharepoint.com/:f:/g/personal/jiawzhang8-c_my_cityu_edu_hk/EkznohE3YL1Jk8igTCQ4HqYBl8wiPIHNwL7U9X5b3p607Q?e=3aOPez
• BaiduPan: https://pan.baidu.com/s/1qXBpBg4#list/path=%2F

搜集汇总

数据集介绍

构建方式

该数据集通过使用Point Grey Bumblebee2立体相机和Intel RealSense F200主动深度相机同步采集数据构建而成。数据采集过程中，每个背景包含两个序列，分别记录了计数和随机手势的1500帧图像，总计18000帧。立体图像和深度图像分别由这两款相机捕捉，确保了数据的多样性和丰富性。

特点

该数据集的特点在于其包含了六种不同背景下的手势序列，每个背景下的序列均包含计数和随机手势两种类型。数据集提供了立体图像、深度图像以及对应的21个手部关节的三维坐标标签，涵盖了手掌中心和手指关节的精确位置信息。此外，深度图像采用三通道存储，确保了数据的完整性和高精度。

使用方法

使用该数据集时，用户可通过指定路径访问图像和标签文件。图像文件存储在'images'文件夹中，包含立体相机的左右图像和深度相机的彩色及深度图像。标签文件存储在'labels'文件夹中，以MAT文件格式提供，包含每帧图像中21个手部关节的三维坐标。用户可通过MATLAB脚本进行点云到彩色和深度图像的投影，进一步分析手部姿态。

背景与挑战

背景概述

icip17_stereo_hand_pose_dataset是由Jiawei Zhang等研究人员于2017年提出的一个立体手部姿态跟踪基准数据集，旨在为手部姿态跟踪领域的研究提供高质量的数据支持。该数据集通过Point Grey Bumblebee2立体相机和Intel Real Sense F200主动深度相机同步采集，包含6种不同背景下的手部姿态序列，每个背景包含计数和随机姿态两种序列，总计18000帧图像。该数据集的发布为手部姿态跟踪算法的评估和优化提供了重要的实验平台，推动了计算机视觉领域在手部姿态识别与跟踪方向的研究进展。

当前挑战

icip17_stereo_hand_pose数据集在解决手部姿态跟踪问题时面临多重挑战。手部姿态的多样性和复杂性使得精确跟踪成为一项艰巨任务，尤其是在不同背景和光照条件下，手部姿态的识别与定位难度显著增加。此外，数据集的构建过程中，研究人员需要确保立体相机和深度相机采集的数据在时间和空间上的同步性，这对硬件设备的校准和数据处理提出了较高要求。深度图像的处理与存储也面临技术挑战，由于深度值通常超过255，研究人员采用多通道存储方式，增加了数据处理的复杂性。这些挑战共同构成了该数据集在应用和研究中的核心难点。

常用场景

经典使用场景

在计算机视觉领域，icip17_stereo_hand_pose_dataset被广泛用于手部姿态跟踪算法的开发与评估。该数据集通过立体匹配技术捕捉手部的三维姿态信息，为研究者提供了一个包含多种背景和姿态变化的丰富实验环境。其高帧率和精确的标注使得该数据集成为训练和测试手部姿态估计模型的理想选择。

实际应用

在实际应用中，icip17_stereo_hand_pose_dataset被广泛应用于虚拟现实、增强现实以及人机交互系统中。例如，在虚拟现实游戏中，该数据集可用于精确捕捉用户的手部动作，实现更自然的交互体验。在医疗康复领域，该数据集也可用于开发手部康复训练系统，帮助患者恢复手部功能。

衍生相关工作

基于icip17_stereo_hand_pose_dataset，研究者们开发了多种经典的手部姿态跟踪算法。例如，一些工作利用该数据集提出了基于深度学习的手部姿态估计模型，显著提高了姿态跟踪的精度和实时性。此外，该数据集还被用于评估和改进现有的立体匹配算法，推动了计算机视觉领域的技术进步。