DexterHand

DexterCap是一个经济实惠且自动化的系统，用于捕捉灵巧的手-物体操作。数据集包含从多视角视频中检测或标注的2D手/物体动作捕捉标签，通过多视角2D观察进行三角测量以获得3D标记轨迹，并拟合3D手标记到MANO手模型以恢复每帧的MANO参数。

DexterCap is an affordable and automated system for capturing dexterous hand-object manipulation. The dataset comprises 2D hand and object motion capture labels detected or annotated from multi-view videos, performs triangulation via multi-view 2D observations to obtain 3D marker trajectories, and fits the 3D hand markers to the MANO hand model to recover per-frame MANO parameters.

原始信息汇总

DexterCap 数据集概述

数据集基本信息

• 数据集名称：DexterCap
• 核心内容：灵巧手-物体操作捕捉数据集
• 数据格式：.npz 文件
• 示例文件：RubiksCube_00-fps_20.npz

数据集获取

• 下载状态：完整数据集即将发布。
• 下载方式：
  1. 通过 Hugging Face CLI 下载单个文件：hf download pku-mocca/DexterHand FILE_NAME --repo-type dataset --local-dir ./Dataset/DexterHand
  2. 从 Hugging Face 克隆整个数据集：git clone [e-mail]:datasets/pku-mocca/DexterHand
• 数据集地址：https://huggingface.co/datasets/pku-mocca/DexterHand

数据集内容与处理流程

数据集包含从多视角视频中重建得到的手部与物体运动参数。

数据处理阶段

1. 2D标注：输入为多视角视频，输出为每视角的2D手部/物体运动捕捉标签。代码位于 VideoProcess/。
2. 三角测量：输入为2D标签与相机标定数据，输出为3D标记轨迹（pts_hand, pts_obj）。代码位于 MocapSystem/。
3. 手部重建：输入为3D手部标记，输出为逐帧的MANO手部模型参数。代码位于 HandReconstruction/。
4. 物体重建：输入为3D物体标记，输出为逐帧的物体姿态（对于刚体）或姿态与扭转状态（对于魔方）。代码位于 ObjectReconstruction/。
5. 数据集打包：将手部与物体参数合并为发布的 .npz 数据集格式。代码为 Dataset/generate_dataset.py。

公开数据集内容说明

• 包含最终重建的手部（MANO参数）与物体参数。
• 不包含原始多视角视频及中间过程的3D标记轨迹。

数据集使用

环境配置

1. 创建并激活 Conda 环境：conda create -n HandMocap python=3.10 与 conda activate HandMocap。
2. 安装依赖：pip install -r requirements.txt。
3. 从 MANO 官网 (https://mano.is.tue.mpg.de/) 注册并下载模型，按指定目录结构放置。

数据可视化

使用 rerun (https://www.rerun.io/) 进行可视化。

• 基础可视化：python -m Dataset.visualize --data_path Dataset/RubiksCube_00-fps_20.npz
• 使用手部局部坐标系可视化：添加 --use_hand_local_coordinates True 参数。
• 可视化特定时间范围：使用 --start 和 --end 参数指定秒数。

数据集生成

可通过 Dataset.generate_dataset.py 脚本合并手部与物体重建结果，生成 .npz 数据集文件。需要指定：

• --mocap_name：运动捕捉会话名称（如 Cuboid_00）。
• --hand_param_folder：包含 frame_*.npz 的手部参数文件夹绝对路径。
• --object_param_folder：包含物体参数文件（*.npy 或 *.npz）的文件夹绝对路径。
• --save_path：保存 .npz 文件的绝对路径。

相关资源

• 论文地址：https://arxiv.org/abs/2601.05844
• 项目页面：https://pku-mocca.github.io/Dextercap-Page/
• 各处理阶段详细说明请参阅仓库内各模块的 README.md 文件。

引用

如需引用，请使用提供的 BibTeX 条目。

搜集汇总

数据集介绍

构建方式

在灵巧手-物体交互研究领域，数据采集的精度与系统性至关重要。DexterHand数据集通过一套经济且自动化的多视角运动捕捉系统构建而成。其流程始于同步采集的多视角视频，首先对每帧图像进行手部与物体的二维关键点检测或标注。随后，结合精确的相机标定参数，通过三角化方法将多视角的二维观测融合为三维标记点轨迹。在此基础上，利用MANO手部模型对三维手部标记点进行拟合，逐帧恢复出手部的姿态与形状参数；同时，针对物体三维标记点，拟合出物体的位姿或如魔方般的关节状态。最终，将手部与物体的重建参数整合并打包为统一的.npz格式数据集。

特点

该数据集的核心特点在于其面向复杂灵巧操作的深度标注与系统性。数据集不仅提供了高精度的三维手部运动序列，还同步捕获了与之交互的物体的精确位姿与状态变化，完整记录了手-物协同的动力学过程。数据以结构化的.npz文件格式存储，包含了MANO模型参数、物体位姿及时间戳等关键信息，确保了数据的一致性与易用性。尤为突出的是，其构建系统强调自动化与低成本，旨在降低高质量手-物交互数据获取的门槛，为相关算法的训练与评估提供了宝贵的真实世界交互范例。

使用方法

为便于研究者利用该数据集，项目提供了清晰的使用路径。用户需首先配置Python环境并安装依赖项，同时从指定网站获取MANO模型文件。数据集可通过Hugging Face平台直接下载。对于数据可视化，项目集成了rerun工具，用户通过运行指定脚本并传入数据文件路径，即可动态浏览手部与物体的三维运动序列，并支持设置时间范围或切换至手部局部坐标系进行观察。数据集本身作为算法开发的基准，其结构化的参数可直接用于驱动手部与物体模型，服务于运动生成、姿态估计、物理交互仿真等多种下游研究任务。

背景与挑战

背景概述

在机器人学与计算机视觉领域，灵巧手-物体交互的精确建模是推动具身智能与仿人操作发展的关键。DexterHand数据集由北京大学Mocca团队于2026年创建，旨在通过经济高效的自动化系统捕捉人手与物体在复杂操作中的高精度运动数据。该数据集以多视角视频为基础，结合三维标记重建与MANO手部模型拟合技术，系统性地记录了手部关节姿态与物体位姿的时序变化。其核心研究问题聚焦于解决灵巧操作中手-物体交互的动态建模难题，为机器人技能学习、动作生成及虚拟现实交互提供了高质量的基准数据，显著提升了相关算法在真实场景下的泛化能力与可靠性。

当前挑战

DexterHand数据集致力于应对灵巧手-物体交互建模中的核心挑战：在高度非刚性、快速且遮挡频繁的操作过程中，如何实现手部与物体运动的高精度、同步化三维重建。具体而言，领域问题的挑战包括复杂手部姿态的连续估计、物体状态（如魔方扭转）的精确推断，以及交互过程中相互遮挡导致的视觉信息缺失。在构建过程中，挑战主要体现为多视角视频的同步标定、二维标记到三维轨迹的鲁棒性三角测量，以及将离散标记点拟合到参数化手部模型（MANO）时保持时空一致性的优化问题。这些挑战共同要求算法在精度、效率与成本间取得平衡，以支撑大规模、多样化操作场景的数据采集。

常用场景

经典使用场景

在灵巧手-物体交互研究领域，DexterHand数据集为手部运动捕捉与三维重建提供了高质量的基准数据。该数据集通过多视角同步视频捕获手部与物体的精细交互动作，并利用MANO手部模型拟合技术，生成了包含手部姿态、关节角度及物体位姿的时序参数。研究人员可借助该数据集训练和评估手部运动分析、姿态估计以及手-物协同操作模型，尤其在模拟复杂抓取、旋转等灵巧操作任务中展现出重要价值。

衍生相关工作

围绕DexterHand数据集，已衍生出一系列经典研究工作，主要集中在手部运动建模、交互动作生成与跨模态学习等方面。例如，基于该数据集的手部参数化表示，研究者开发了更精准的MANO模型拟合算法；同时，结合强化学习与模仿学习框架，多项工作实现了从数据中学习灵巧操作策略，并迁移至机器人控制。这些进展不仅丰富了手-物交互的理论体系，也为后续数据集如DexCap、HO-3D等的构建提供了技术借鉴。

数据集最近研究

最新研究方向

在灵巧手-物体交互研究领域，DexterHand数据集凭借其高精度、低成本的运动捕捉系统，正推动着人机交互与机器人操作的前沿探索。该数据集通过多视角视频同步与三维标记重建技术，提供了手部MANO模型参数与物体姿态的精确时序数据，为模仿学习与具身智能奠定了坚实基础。当前研究热点聚焦于利用此类数据训练通用型灵巧操作策略，结合扩散模型或强化学习算法，使机器人能够执行如魔方还原等复杂任务。这一进展不仅加速了家庭服务机器人的实用化进程，也为虚拟现实中的自然交互提供了关键支持，标志着从静态感知向动态技能迁移的重要转变。