HandX

HandX是由伊利诺伊大学厄巴纳-香槟分校等机构创建的大规模双手机动交互数据集，旨在填补精细手部动作和双手交互数据空白。该数据集包含540万帧高精度运动捕捉数据及49万条细粒度文本描述，通过光学动捕系统采集了自然日常活动中的双手协调动作和接触动态。数据经过统一骨骼表示转换和严格质量过滤，并采用基于运动特征提取与大语言模型推理的两阶段标注策略生成语义丰富的描述。该数据集主要应用于沉浸式媒体、远程呈现、具身AI和人机交互领域，为生成具有语义一致性的高保真双手运动提供基础支持。

HandX is a large-scale two-handed manual interaction dataset developed by the University of Illinois Urbana-Champaign and other institutions, aiming to fill the gap in fine-grained hand motion and two-handed interaction datasets. This dataset includes 5.4 million frames of high-precision motion capture data and 490,000 fine-grained textual descriptions. Coordinated two-hand movements and contact dynamics in natural daily activities were collected using optical motion capture systems. The collected data has undergone unified skeletal representation transformation and strict quality filtering. A two-stage annotation strategy based on motion feature extraction and large language model (LLM) inference is adopted to generate semantically rich descriptions. This dataset is primarily applied in the fields of immersive media, telepresence, embodied AI, and human-computer interaction, providing foundational support for generating semantically consistent, high-fidelity two-handed motions.

原始信息汇总

HandX 数据集概述

数据集基本信息

• 名称: HandX
• 核心内容: 大规模双手运动与交互生成数据集
• 提出背景: 针对现有全身运动模型在精细手部运动、手指关节、接触时机及双手协调方面研究的不足，以及缺乏捕捉细微手指动态与协作的高保真双手序列数据
• 发布状态: 已发布以支持未来研究

数据集构成与特点

• 数据来源:
  • 整合并筛选了现有数据集以保证质量
  • 新收集了一个运动捕捉数据集，专门针对代表性不足的双手交互，并包含详细的手指动态
• 标注策略:
  • 采用解耦策略进行可扩展的标注
  • 首先提取代表性运动特征（如接触事件、手指弯曲）
  • 随后利用大语言模型的推理能力，生成与这些特征对齐的细粒度、语义丰富的描述
• 标注内容: 提供细粒度、多层次的文本描述监督
• 数据质量: 提供接触丰富的双手运动

数据集应用与基准测试

• 基准模型: 在扩散模型和自回归模型上进行了基准测试
• 条件模式: 支持多种条件模式
• 评估指标: 提出了新的以手部为重点的评估指标
• 核心发现:
  • 实验展示了高质量灵巧运动生成的能力
  • 观察到清晰的缩放趋势：在更大、更高质量数据集上训练的更大模型能产生语义更连贯的双手运动

数据集示例（运动描述）

• 示例模式: 每个示例包含左手、右手动作描述及双手关系描述
• 动作类型: 涵盖手指弯曲、伸展、张开、握拳释放、手腕移动、指尖接触手掌、手掌对齐与重复敲击接触等多种精细动作
• 交互关系: 描述了双手之间的接触、分离、空间位置交换、动态对齐等协作关系

相关引用

• 会议: CVPR 2026

• 预印本: arXiv

• BibTeX:

  @article{zhang2026handx, title = {HandX: Scaling Bimanual Motion and Interaction Generation}, author = {Zhang, Zimu and Zhang, Yucheng and Xu, Xiyan and Wang, Ziyin and Xu, Sirui and Zhou, Kai and Zhou, Bing and Guo, Chuan and Wang, Jian and Wang, Yu-Xiong and Gui, Liang-Yan}, journal = {arXiv}, year = {2026}, }

搜集汇总

数据集介绍

构建方式

在双灵巧手运动生成领域，高质量数据的匮乏长期制约着模型的性能。HandX数据集通过整合现有开源数据集并采集全新运动捕捉数据，构建了一个大规模、标准化的双灵巧手运动语料库。具体而言，研究团队首先将多个公开数据集统一至共享的骨骼表示与坐标系，并滤除低质量或静态片段；随后，利用基于标记点的光学运动捕捉系统，在受控环境中录制了富含精细手指协调与手间接触动态的双灵巧手交互序列。所有序列均被分割为片段，并基于关节角速度进行强度感知过滤，最终保留了总计54.2小时、590万帧的高动态交互数据。

特点

HandX数据集的核心特点在于其规模、精细度与交互丰富性。该数据集包含54.2小时的运动序列，并配有49万条细粒度文本描述，在数据量与标注质量上均显著超越现有资源。其标注采用解耦策略：首先从原始运动数据中提取结构化的运动学特征（如接触事件、手指屈伸），随后利用大语言模型进行推理，生成与这些特征对齐的、语义丰富的多层级描述。此外，数据集特别强调手间接触动态，通过定量指标（如接触比率、接触持续时间）确保了交互序列的高保真度与多样性，为学习精细的双灵巧手协调提供了坚实基础。

使用方法

HandX数据集为双灵巧手文本到运动生成任务提供了一个综合性基准平台。研究者可利用其丰富的运动-文本对，训练和评估扩散模型或自回归模型等生成范式。数据集支持多种条件生成模式，包括基于文本的生成、运动插值、关键帧引导合成以及手部反应生成等。在评估方面，除了传统的运动真实性和文本对齐指标外，数据集还引入了专注于手部接触精度的新度量标准，如接触精确率、召回率与F1分数，以全面衡量生成交互的质量。该数据集旨在推动表达性手部运动与交互合成领域的模型开发与性能评估。

背景与挑战

背景概述

HandX数据集由伊利诺伊大学厄巴纳-香槟分校、Specs Inc.和Snap Inc.的研究团队于2026年提出，旨在解决双手机器人运动生成领域长期存在的瓶颈。该数据集聚焦于精细的手指动态、接触事件及双手协调等核心研究问题，通过整合现有高质量开源数据并采集新的光学运动捕捉序列，构建了包含54.2小时运动数据、590万帧及49万条细粒度文本描述的大规模资源。HandX不仅统一了异构数据源的骨骼表示与坐标系，还引入了基于运动特征提取与大语言模型推理的自动化标注策略，为生成模型提供了丰富的语义监督。其在沉浸式媒体、远程呈现、具身智能及人机交互等领域的应用潜力显著，推动了双手机器人运动合成技术向更高真实感与可控性发展。

当前挑战

HandX数据集致力于解决双手机器人运动生成中的关键挑战，首要难题在于如何从自然语言描述中合成具有精细手指动态、准确接触时序及流畅双手协调的高保真运动。现有方法常因数据缺乏而忽略这些细粒度线索，导致生成运动在功能性与真实感上不足。在构建过程中，研究团队面临数据质量与一致性的严峻考验：需将来自不同来源的异构运动数据统一至共享骨骼表示，并过滤低质量或静态片段以保持动态交互的丰富性。此外，为大规模运动序列提供细粒度语义标注亦是一大挑战，传统手动标注成本高昂且难以扩展，而直接利用大语言模型处理连续高维运动数据的效果有限，因此需设计解耦的特征提取与语言生成策略以实现高效、一致的自动化标注。

常用场景

经典使用场景

在计算机视觉与图形学领域，HandX数据集为双手机械运动生成任务提供了基准测试平台。该数据集通过整合多源高质量运动捕捉数据，并辅以精细的文本标注，支持基于扩散模型与自回归模型的生成范式验证。研究者可利用其进行文本到运动的映射训练，评估模型在手指关节弯曲、手腕轨迹以及手间接触事件等方面的生成质量，从而推动双手机械运动合成技术的标准化发展。

实际应用

在虚拟现实与机器人操控等实际场景中，HandX数据集为生成自然且功能性的双手机械运动提供了数据基础。例如，在沉浸式媒体制作中，可利用该数据集训练模型生成符合语义描述的手部动画，增强用户体验；在具身智能领域，则能通过学习数据集中丰富的接触与协调模式，提升机器人执行精细操作任务的能力，如物体抓取、工具使用等需要双手协作的复杂动作。

衍生相关工作

HandX数据集的发布催生了一系列围绕双手机械运动生成的研究工作。基于其构建的扩散模型与自回归模型基准，启发了后续在运动插值、关键帧控制、手部反应合成等多样化生成任务上的探索。同时，数据集中提出的运动特征提取与语言模型推理相结合的标注策略，也为其他运动数据集的语义标注提供了可借鉴的框架，推动了整个领域向更精细、更可控的生成方向发展。