TouchPose

本数据集包含从10名参与者收集的65,374个对齐记录，包括电容图像、相应的深度图和3D手部姿态坐标。该数据集用于训练和评估TouchPose模型，该模型能够从电容图像中学习3D手部模型和相应的深度图，实现触摸接触分类、深度估计和3D关节重建。

This dataset comprises 65,374 aligned records collected from 10 participants, including capacitive images, corresponding depth maps, and 3D hand pose coordinates. It is utilized for training and evaluating the TouchPose model, which learns 3D hand models and corresponding depth maps from capacitive images to achieve touch contact classification, depth estimation, and 3D joint reconstruction.

原始信息汇总

数据集概述

数据集名称: TouchPose

研究目的: 用于研究从电容图像中预测手部姿态、深度估计和触摸分类。

数据集内容:

• 包含65,374条记录，来自10名参与者的电容触摸图像及其对应的深度图和3D手部姿态坐标。

数据集用途:

• 用于训练和评估TouchPose模型，该模型能够从电容图像中学习3D手部模型和相应的深度图。

数据集下载:

• 数据集链接: Google Drive

版权信息:

• 本数据集受Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License保护。

使用限制:

• 数据集仅供研究使用，商业用途需联系数据集提供者。

搜集汇总

数据集介绍

构建方式

TouchPose数据集的构建基于电容图像与深度图的配对采集。研究团队通过电容传感器捕捉用户手指和手部的稀疏观测数据，生成低分辨率的电容图像，这些图像反映了与用户手指和手部距离成比例的强度映射。数据集共包含65,374条记录，来自10名参与者的实验数据，每条记录均包含电容图像、深度图以及3D手部姿态坐标。通过这种跨模态数据对齐，TouchPose能够学习从电容图像中重建3D手部模型和深度图。

特点

TouchPose数据集的特点在于其首次将电容图像与深度图及3D手部姿态坐标相结合，提供了多模态的手部交互数据。电容图像的低分辨率特性使得数据具有稀疏性，而深度图和3D姿态坐标的加入则为手部姿态预测和深度估计提供了丰富的上下文信息。此外，数据集的规模较大，涵盖了多样化的手部姿态和交互场景，能够支持模型在未见过的姿态上表现出良好的泛化能力。

使用方法

使用TouchPose数据集时，研究人员可通过下载数据集和模型文件，并将其与源代码文件夹放置在同一目录下。数据集的主要用途包括训练和评估手部姿态预测、深度估计以及触摸分类模型。通过运行提供的Jupyter Notebook代码，用户可以对模型进行定量评估，验证其在触摸接触分类、深度估计和3D关节重建任务中的准确性。此外，数据集还可用于开发基于3D手部姿态的交互应用，展示其在多触点设备上的潜力。

背景与挑战

背景概述

TouchPose数据集由苏黎世联邦理工学院（ETH Zürich）的感知、交互与感知实验室（Sensing, Interaction & Perception Lab）于2021年发布，主要研究人员包括Karan Ahuja、Paul Streli和Christian Holz。该数据集旨在解决从电容图像中重建3D手部姿态、深度估计和触摸分类的问题。电容传感器广泛应用于现代触摸屏设备，但其仅能捕捉2D坐标信息，无法感知用户手部的复杂3D姿态。TouchPose通过提供65,374条电容图像与深度图及3D手部姿态坐标的对齐记录，填补了这一领域的数据空白。该数据集不仅推动了3D手部姿态重建技术的发展，还为多触点设备的交互设计提供了新的可能性，具有广泛的应用前景。

当前挑战

TouchPose数据集在构建和应用过程中面临多重挑战。首先，电容图像的分辨率较低，且仅能捕捉到手指和手部的稀疏观测信息，这使得从这些图像中精确重建3D手部姿态和深度图变得极具挑战性。其次，数据集的构建需要高精度的深度传感器和复杂的对齐技术，以确保电容图像与深度图及3D手部姿态坐标的精确匹配。此外，TouchPose模型需要具备良好的泛化能力，以应对训练数据中未见过的手部姿态，并推断出触摸传感器范围之外的关节位置。这些挑战不仅对数据集的构建提出了高要求，也为后续的研究和应用设置了技术壁垒。

常用场景

经典使用场景

TouchPose数据集在3D手势重建领域具有重要应用，特别是在电容图像与深度图的联合分析中。通过该数据集，研究人员能够从低分辨率的电容图像中重建出复杂的三维手部姿态，进而为触摸屏设备提供更丰富的输入信息。这一数据集的使用场景广泛涵盖了手势识别、深度估计以及触摸分类等多个研究方向。

实际应用

TouchPose数据集的实际应用场景包括增强现实（AR）、虚拟现实（VR）以及智能设备的人机交互。通过该数据集训练的模型，能够为多触点设备提供更精确的手势输入支持，从而提升用户体验。例如，在AR/VR环境中，TouchPose可以实现更自然的手势控制，为开发者提供更丰富的交互设计可能性。

衍生相关工作

TouchPose数据集推动了多个相关领域的研究进展。基于该数据集，研究者开发了多种深度学习模型，用于手势预测、深度估计和触摸分类。此外，TouchPose还为电容图像与三维手部姿态的跨模态学习提供了基准数据，激发了更多关于多模态感知和交互设计的研究工作。