DEXHAND-70K/DEXHAND-70K

DexHand-70K是一个用于研究高自由度灵巧操作中缩放定律的多模态数据集。它包含了70,000个16-DOF LEAP手的遥控抓取演示，同步记录了RGB（4个摄像头）、触觉力（51维）和本体感觉（16维）数据，采样频率为30 Hz。数据集涵盖了101个物体×5个环境×10个光照条件的组合，设计了一个控制因子域的实验。数据集支持三个研究问题：高自由度动作空间中的数据缩放定律、视觉-触觉互补性以及视觉域缩放。数据集的总大小为2.09 TB，存储为gzip压缩的HDF5格式，并提供了详细的元数据和索引文件以便于数据加载和过滤。DexHand-70K is a multi-modal dataset for studying scaling laws in high-DOF dexterous manipulation. It contains 70,000 teleoperated grasping demonstrations with a 16-DOF LEAP Hand, synchronized with RGB (4 cameras), tactile forces (51-dim), and proprioception (16-dim) at 30 Hz. The dataset covers 101 objects × 5 environments × 10 lighting conditions under a controlled factorial domain design. It enables three research questions: data scaling laws in high-DOF action spaces, vision-tactile complementarity, and visual domain scaling. The total size of the dataset is 2.09 TB, stored in gzip-compressed HDF5 format, and includes detailed metadata and index files for easy data loading and filtering.

搜集汇总

数据集介绍

构建方式

DexHand-70K数据集通过遥操作技术在NVIDIA Isaac Sim仿真环境中采集70,000条抓取演示轨迹，采用两种遥操作界面：基于Meta Quest手部追踪的VR遥操作与物理LEAP Hand关节编码器直接映射。实验设计采用全因子域设计，涵盖101个对象（280个变体）在5种环境与10种光照条件组合下的50个视觉域，共收集87,250条轨迹后经完整性审计筛选出符合质量标准的70,000条，确保每个对象变体至少包含5条最短演示轨迹并覆盖全部环境-光照组合。

特点

该数据集的核心特色在于其高自由度动作空间（16-DOF LEAP Hand）与多模态感知数据的同步采集，包括4个固定视角的RGB图像（256×256分辨率）、51维触觉力数据及16维本体感知信息，采样频率为30 Hz。数据集通过系统的域设计实现视觉域控制，支持对数据缩放定律、视觉-触觉互补性及视觉域泛化能力的研究，且对象覆盖9个功能类别与不同几何复杂度，具有大规模（6.88M帧，63.7小时）和高度结构化的元数据。

使用方法

用户可通过安装`dex-hand-dataset`辅助包便捷加载数据集，利用`load()`函数以惰性读取方式按需访问70,000条轨迹，每条轨迹包含动作、力、位置、速度及多视角RGB数据。此外，数据集提供`index.parquet`元数据索引文件，支持基于环境、光照、对象等属性的快速过滤与查询。用户亦可直接通过HDF5文件接口读取数据，结合预定义的数据划分（包括对象、环境、光照泛化子集及数据缩放子集）进行灵活的训练评估配置。

背景与挑战

背景概述

DexHand-70K数据集由研究团队于2026年创建，旨在弥补现有灵巧操作数据集在触觉感知、高自由度动作空间及可控视觉域方面的不足。该数据集通过70,000条遥操作抓取演示，在16自由度LEAP手上同步采集4视角RGB图像、51维触觉力及16维本体感知信息，覆盖101种物体、5种环境与10种光照条件的全因子设计。作为NeurIPS 2026评测与数据集轨道论文的配套资源，它首次在灵巧操作领域支持数据规模定律、视觉-触觉互补性及视觉域泛化的系统性研究，对机器人学习与泛化理论具有里程碑式意义。

当前挑战

该数据集面临三大核心挑战。领域层面，灵巧操作需解决高自由度动作空间下的数据效率问题，现有方法难以从有限样本中习得稳健策略，而视觉与触觉模态的异构融合及跨域泛化仍是未解难题。构建过程中，需在仿真环境中精确复现物体几何多样性、光照与场景组合变异，同时保证70,000条轨迹的完整性与无冗余；遥操作接口的延迟和操作者技能差异导致轨迹长度不均，且纯仿真数据存在模拟到现实的迁移鸿沟，触觉信号仅为近似值，缺乏真实传感器输出与深度模态支持。

常用场景

经典使用场景

DexHand-70K数据集的核心经典用途在于为高自由度灵巧操作任务提供大规模、多模态的训练与评估基准。其囊括了70,000条基于16自由度LEAP手爪的抓取演示轨迹，同步记录了来自四个固定视角的RGB图像、51维触觉力信息以及16维本体感知数据，并在101种物体、5种环境与10种光照条件的全因子设计下系统采集。这一精心构建的配置使得研究者能够以标准化的方式训练模仿学习、强化学习等算法，尤其适用于需要同时处理视觉、触觉与运动控制信号的复杂灵巧操作场景，为模型在多样化视觉域与几何构型下的泛化能力检验提供了可靠的数据基石。

解决学术问题

该数据集核心解决了灵巧操作领域中长期存在的三个关键学术难题：高自由度动作空间的数据规模定律验证、视觉与触觉模态的互补性量化分析，以及视觉域泛化能力的系统评估。此前，由于缺乏兼具大规模、多模态与可控域设计的数据集，研究者难以在16自由度这类高维动作空间中可靠地刻画模型性能随数据量增长的变化规律，也无法在同等数据规模下严格比较有无触觉信息对操作成功率的影响。DexHand-70K通过提供从100条到70,000条轨迹的渐进子集，以及横跨50种视觉域的组合配置，首次使得这些基础性研究问题得以在严谨的实验框架下被探索，从而推动了灵巧操作领域从经验性调参向数据驱动的规律性认知转变。

衍生相关工作

围绕DexHand-70K的数据特性，学术界已衍生出一系列具有影响力的研究方向与经典工作。首先，基于该数据集，研究者能够系统性地探索并验证高自由度灵巧操作中存在的规模定律，即模型性能随轨迹数量增加而呈现幂律提升的趋势，这一发现为后续更大规模机器人数据集的构建提供了理论依据。其次，视觉与触觉模态的消融实验促使了多模态融合架构的发展，诸如跨模态注意力网络与触觉增强策略网络等创新方法被提出以充分利用两种感知通道的互补优势。再者，针对视觉域泛化的研究催生了利用对抗性域混淆与风格迁移实现域不变特征学习的代表性算法，显著提升了模型在新环境与新光照条件下的零样本适应能力，从而丰富了域泛化在机器人学习领域的应用谱系。