Re:InterHand

Re:InterHand数据集由Meta Reality Labs Research创建，专注于分析双手交互。该数据集包含150万条数据，旨在同时提供多样化和真实的图像外观以及多样化和大规模的地面实况3D姿态。通过使用先进的双手重照明网络和精确跟踪的3D姿态，该数据集解决了现有数据集在图像外观和3D姿态多样性方面的不足，适用于双手交互分析的广泛应用。

The Re:InterHand dataset was created by Meta Reality Labs Research, focusing on two-hand interaction analysis. This dataset contains 1.5 million data samples, aiming to provide both diverse and realistic image appearances as well as diverse and large-scale ground-truth 3D poses. By leveraging advanced two-hand relighting networks and accurately tracked 3D poses, this dataset addresses the limitations of existing datasets in terms of image appearance and 3D pose diversity, and is suitable for a wide range of applications in two-hand interaction analysis.

搜集汇总

数据集介绍

构建方式

在三维交互手部分析领域，数据集的构建需兼顾图像外观的真实性与三维姿态标注的多样性。Re:InterHand数据集通过两阶段流程实现这一目标：首先，在配备170台同步相机的多视角采集工作室中，捕捉10名受试者的手部动作序列，涵盖峰值姿态与自然运动范围，确保姿态多样性。利用V2V-PoseNet网络从体素化三维扫描中回归出高精度且时序一致的三维关节点坐标，再通过NeuralAnnot方法拟合MANO手部模型，获得准确的三维网格。随后，基于先进的手部重光照网络，将拟合的三维手部模型置于2144种高分辨率环境光照下渲染，生成光照多样且外观逼真的图像，同时提供非二值化掩码与三维模型参数。

特点

Re:InterHand数据集的核心特点在于同时实现了高度真实的外观呈现与丰富多样的三维标注。其图像通过神经重光照技术生成，光照条件多样且与背景协调，显著提升了视觉真实感，接近自然场景下的图像特性。数据集包含150万张图像，涵盖第三人称与第一人称视角，支持帧级与视频级研究。三维标注基于精确追踪的MANO模型参数，提供了手部网格、关节点坐标及非二值掩码，确保几何信息的准确性与完整性。尤为突出的是，数据集专注于强交互手部姿态，双手距离近且接触样本比例高，为复杂交互分析提供了扎实基础。

使用方法

Re:InterHand数据集适用于三维交互手部姿态估计与重建任务的训练与评估。研究者可将数据集按既定划分用于模型训练，其提供的重光照图像与三维标注可直接用于监督学习。对于姿态估计网络，可利用图像输入与对应的MANO参数或关节点坐标进行端到端训练；掩码数据可用于分割或遮挡处理任务。数据集的多种视角与光照变化有助于提升模型在复杂环境下的泛化能力。在评估阶段，可使用数据集测试集与其他基准数据集（如InterHand2.6M、HIC）进行交叉验证，通过右手机相对顶点误差等指标量化模型性能。此外，数据集支持新颖视角与光照下的渲染扩展，为域适应与生成研究提供灵活基础。

背景与挑战

背景概述

在计算机视觉与人机交互领域，双手交互分析因手部自相似性、复杂关节结构与频繁遮挡而成为极具挑战性的研究方向。为突破这一瓶颈，Meta Reality Labs Research团队于2023年推出了Re:InterHand数据集，该数据集聚焦于在单张RGB图像中恢复三维交互手部姿态与形状的核心问题。通过融合高精度多视角运动捕捉技术与先进神经重光照网络，Re:InterHand首次实现了兼具高度真实感图像外观与大规模多样化三维真值标注的双手交互数据构建，为三维手部姿态估计、动作理解及虚拟现实等应用提供了关键数据支撑。

当前挑战

Re:InterHand致力于解决双手交互分析中的两大挑战：其一，在领域问题层面，双手交互因深度模糊、密集遮挡及相似结构导致三维姿态估计困难，现有数据集难以同时保证图像外观的真实多样性与三维标注的精确丰富性；其二，在构建过程中，团队需克服多视角数据融合的时序不一致性、三维手部模型拟合的碰撞避免，以及单手重光照网络向双手场景泛化时的光影协调等难题。这些挑战的应对体现了数据采集、算法集成与跨域适配的综合复杂性。

常用场景

经典使用场景

在计算机视觉领域，双手交互分析因其自相似性、复杂关节结构和频繁遮挡而极具挑战性。Re:InterHand数据集通过提供高真实感且多样化的重光照图像，以及精确的三维手部姿态标注，成为训练和评估三维交互手部重建模型的理想资源。该数据集广泛应用于单目RGB图像下的双手三维姿态与形状估计任务，为研究者提供了在复杂光照和视角变化下进行模型验证的标准化基准。

解决学术问题

Re:InterHand数据集有效解决了现有交互手部数据在图像外观多样性与真实感、以及三维标注准确性与规模之间的不平衡问题。通过结合多视角捕捉技术与先进的重光照网络，该数据集同时提供了接近真实场景的图像外观和大规模、高精度的三维姿态真值。这显著缓解了模型在从实验室数据到野外场景的域适应挑战，推动了三维手部姿态估计方法在真实环境中的泛化能力与鲁棒性提升。

衍生相关工作

Re:InterHand数据集的发布催生了一系列围绕三维交互手部分析的前沿研究。例如，基于该数据集训练的InterWild等方法，显著提升了在野外图像上的双手重建精度。同时，其构建流程中采用的V2V-PoseNet三维关节点检测网络和神经重光照技术，也为后续研究在时序一致性优化、光效一致合成等领域提供了重要参考，推动了整个手部理解社区向更逼真、更实用的方向发展。