DexYCB

DexYCB数据集由都柏林圣三一学院创建，包含582,000个带有完整3D手部关节注释的2D图像帧，涉及10个对象和21个物体。数据集用于评估手部抓取预测模型对未见物体的泛化能力。创建过程中，排除了手部未接触物体的帧，确保至少有两个指尖位于物体边界框内。DexYCB数据集广泛应用于计算机视觉领域，特别是在手部与物体交互的研究中，旨在解决手势识别和物体操作的自动化问题。

The DexYCB dataset, developed by Trinity College Dublin, comprises 582,000 2D image frames with complete 3D hand joint annotations, covering 10 objects and 21 individual objects. This dataset is designed to evaluate the generalization performance of hand grasp prediction models for unseen objects. During its creation, frames where hands do not contact any objects were excluded, ensuring that at least two fingertips lie within the bounding box of an object. Widely used in the field of computer vision, particularly in research on hand-object interaction, the DexYCB dataset aims to address automation challenges in gesture recognition and object manipulation.

搜集汇总

数据集介绍

构建方式

在机器人交互领域，构建高质量仿真数据集是推动算法发展的关键。DexYCB数据集通过运动捕捉技术，系统性地采集了人类抓取与传递物体的真实动作序列。该数据集基于10名受试者，使用左右手对20种YCB物体进行抓取与传递尝试，共包含1000个独立场景。每个场景均记录了手部与物体的逐帧三维姿态，手部采用MANO可变形网格模型表示，物体则使用刚性网格的六维姿态。数据构建过程中，通过PyBullet物理引擎将捕捉的动作复现于仿真环境，并采用直接驱动策略同步控制手部与物体运动，从而精确模拟人类传递物体的动态过程。

特点

DexYCB数据集的核心特点在于其高度的真实性与系统性。数据集不仅涵盖了多样化的物体类别与手部动作，还完整捕获了从抓取到传递的全过程时序信息。其手部模型采用参数化的MANO表示，能够细腻呈现手部形状与关节的变形；物体则选自广泛使用的YCB集合，确保了与现有机器人研究平台的兼容性。此外，数据集提供了标准化的训练与评估划分，包括默认场景、未见受试者、未见手性以及未见抓取物体等多种设置，为算法的泛化能力提供了严谨的测试基准。

使用方法

该数据集主要用于训练与评估人机物体传递相关的算法模型。研究者可利用DexYCB提供的动作序列，在仿真环境中驱动虚拟人类手部运动，进而开发或测试机器人的抓取规划、运动控制及交互策略。数据集支持强化学习框架，智能体可基于环境状态（如物体姿态或点云）输出机器人关节控制指令，并通过预设的成功与失败条件进行性能评估。典型使用流程包括：加载特定场景的运动数据、在仿真中复现人类传递动作、运行机器人控制策略，并最终根据接触检测、掉落判定与时间限制等指标计算成功率与效率。

背景与挑战

背景概述

DexYCB数据集由NVIDIA等机构的研究团队于2021年提出，旨在为机器人抓取与交互领域提供基准数据支持。该数据集聚焦于人类手部抓取物体的精细动作捕捉，核心研究问题在于如何通过真实运动数据驱动仿真环境，以促进人机交互中物体传递任务的研究。其影响力体现在为HandoverSim等仿真框架提供了高质量的人类手部运动数据，推动了人机协作中安全、高效物体传递算法的发展，成为机器人学习与计算机视觉交叉领域的重要资源。

当前挑战

DexYCB数据集所解决的领域问题在于人机物体传递中的手部动作建模与抓取预测，其挑战包括：在动态交互中准确模拟人类手部的灵巧运动，以及处理手与物体间接触丰富的物理交互。构建过程中的挑战则涉及运动捕捉数据的噪声处理，例如手部与物体模型间的穿透现象；同时，将高维手部姿态参数（如MANO模型）整合到物理仿真引擎中，并保持动作的真实性与稳定性，亦是一项技术难点。

常用场景

经典使用场景

在机器人学与人机交互领域，DexYCB数据集为模拟人类向机器人传递物体的过程提供了关键支持。该数据集通过捕捉真实人类抓取和递送物体的运动轨迹，构建了包含多种物体和手部姿态的丰富场景，使得研究人员能够在仿真环境中复现复杂的物理交互。其经典应用场景在于为机器人接收策略的训练与评估提供标准化基准，特别是在人类到机器人（H2R）物体交接任务中，通过驱动仿真人类手部运动，模拟从抓取到递送的完整流程，从而促进机器人规划与控制算法的开发与优化。

实际应用

在实际应用中，DexYCB数据集为家庭服务机器人、辅助老年人与残障人士的护理机器人以及工业制造中的协作机器人提供了关键训练场景。通过模拟真实人类手部运动与物体交互，该数据集能够帮助机器人系统学习在动态环境中安全、流畅地接收物体，减少实际部署中的碰撞风险与操作失误。例如，在家庭环境中，机器人可借助该数据集学习从人类手中接过餐具或工具；在工业流水线上，则能优化与工人之间的零件传递效率，提升整体协作的自动化水平。

衍生相关工作

基于DexYCB数据集，研究者们衍生出一系列经典工作，进一步拓展了人机交接领域的深度与广度。例如，HandoverSim仿真框架利用该数据集构建了首个针对H2R交接任务的标准化基准，并验证了仿真性能与真实世界评估的相关性。此外，相关工作如OMG规划器、Yang等人的反应式交接系统以及GA-DDPG等强化学习策略，均在该数据集提供的场景下进行了性能分析与比较，推动了运动规划、任务决策与感知融合等方向的算法创新，为人机交互的可靠性与适应性研究提供了重要参考。