InterHand2.6M

InterHand2.6M是由首尔国立大学电气与计算机工程学院 & 自主系统研究所创建的大型3D交互手势数据集，包含260万个标记的单手和交互手势帧，涵盖多种姿势和多个主体。该数据集通过精确校准的多视角工作室捕捉，使用80至140个高分辨率相机。数据集的创建过程结合了人工和自动机器标注，提高了标注效率和准确性。InterHand2.6M数据集主要用于解决从单个RGB图像中进行3D交互手势估计的问题，适用于人机交互和行为理解等领域。InterHand2.6M is a large-scale 3D interactive hand gesture dataset created by the School of Electrical and Computer Engineering & Institute for Autonomous Systems, Seoul National University. It contains 2.6 million annotated frames of one-handed and interactive hand gestures, covering diverse poses and multiple subjects. This dataset is captured in a precisely calibrated multi-view studio with 80 to 140 high-resolution cameras. The dataset creation process combines manual and automated machine annotation, which improves annotation efficiency and accuracy. The InterHand2.6M dataset is primarily used to address the problem of 3D interactive hand gesture estimation from a single RGB image, and is applicable to fields such as human-computer interaction and behavior understanding.

搜集汇总

数据集介绍

构建方式

InterHand2.6M 数据集通过在一个配备 80 至 140 台高分辨率摄像机的多视图工作室中进行精确校准，捕捉了 2.6M 帧的单手和双手交互序列。数据集包含了多种姿势和手势，涵盖了从日常手势到极端手势的广泛范围。为了高效且准确地标注 3D 关键点坐标，研究团队采用了半自动化的标注方法，结合了人工标注和机器自动标注。这种方法不仅提高了标注效率，还确保了与全手动标注相当的精度。

特点

InterHand2.6M 数据集的显著特点在于其大规模、高分辨率的多视图捕捉，涵盖了单手和双手交互的多样化手势。数据集通过半自动化标注方法，提供了精确的 3D 关键点坐标，适用于 3D 手势估计任务。此外，数据集的多样性和真实性使其成为研究人类行为理解和人机交互的重要资源。

使用方法

InterHand2.6M 数据集可用于训练和评估 3D 手势估计模型，特别是针对单手和双手交互的场景。研究者可以使用该数据集来训练深度学习模型，如基于卷积神经网络的模型，以实现从单张 RGB 图像中估计 3D 手势。数据集的标注文件包含了相机参数、手部边界框、手性信息以及 3D 关节坐标，便于模型进行端到端的训练和测试。

背景与挑战

背景概述

InterHand2.6M是由首尔国立大学（Seoul National University）和Facebook Reality Labs的研究团队于2020年提出的一个大规模3D交互手势姿态估计数据集。该数据集的核心研究问题是从单张RGB图像中估计交互手势的3D姿态。与以往专注于单手姿态估计的研究不同，InterHand2.6M首次引入了大量包含单手和交互手势的序列，涵盖了多种手势和姿态。数据集通过高分辨率的多视角摄像机系统捕捉，并采用半自动化的标注方法，结合人工和机器标注，确保了标注的准确性和效率。该数据集的提出为研究人类行为理解和人机交互提供了重要的资源，尤其是在需要处理复杂交互手势的场景中。

当前挑战

InterHand2.6M数据集的构建和应用面临多个挑战。首先，从单张RGB图像中估计3D交互手势的姿态是一个高度复杂的任务，尤其是在处理手部遮挡、视角变化和手势多样性时。其次，数据集的构建过程中，如何高效且准确地标注大量手势数据是一个技术难题，尽管采用了半自动化标注方法，但仍需解决标注一致性和精度的问题。此外，现有的单手姿态估计数据集无法满足交互手势估计的需求，因此需要引入新的数据集来填补这一空白。最后，模型的训练和评估也面临挑战，尤其是在处理交互手势时，模型的鲁棒性和泛化能力需要进一步提升。

常用场景

经典使用场景

InterHand2.6M 数据集的经典使用场景主要集中在单手和双手交互的 3D 手势姿态估计任务中。该数据集通过包含大量真实场景下的单手和双手交互序列，为研究人员提供了一个丰富的资源库，用于训练和评估从单张 RGB 图像中估计 3D 手势姿态的模型。通过利用该数据集，研究人员可以开发出能够同时处理单手和双手交互姿态估计的深度学习模型，如 InterNet，从而在复杂的手势交互场景中实现高精度的姿态估计。

衍生相关工作

InterHand2.6M 数据集的发布催生了一系列相关的经典工作，特别是在 3D 手势姿态估计和双手交互建模领域。基于该数据集，研究人员提出了多种改进的深度学习模型，如 InterNet，用于同时估计单手和双手的 3D 姿态。此外，该数据集还激发了对双手交互动态的进一步研究，推动了手势识别和交互技术的进步。未来，该数据集有望继续推动手势分析、人机交互和虚拟现实等领域的创新研究。

数据集最近研究

最新研究方向

近年来，3D手部姿态估计在人机交互和行为理解领域取得了显著进展，但大多数研究集中于单手姿态估计，忽略了双手交互的复杂性。InterHand2.6M数据集的提出填补了这一空白，成为首个包含大规模真实RGB图像的3D双手交互姿态数据集。该数据集不仅涵盖了单手和双手交互的多种姿态，还通过半自动标注方法高效地生成了精确的3D关键点坐标。基于此数据集，研究者提出了InterNet网络，能够从单张RGB图像中同时估计单手和双手的3D姿态。研究表明，利用双手交互数据显著提升了3D交互手姿态估计的精度，表明现有单手数据集在处理复杂交互场景时的不足。InterHand2.6M的推出为未来研究提供了强有力的基准，推动了3D手部姿态估计技术在虚拟现实、增强现实等领域的应用。

相关研究论文

• InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image

  首尔国立大学电气与计算机工程学院 & 自主系统研究所 · 2020年