AIGeeksGroup/DragMesh-2

DragMesh-2 Hand-Object Interaction Trajectories数据集包含模拟生成的手-物体交互轨迹及其对象/部件参考元数据。该数据集基于GAPartNet中的111个具有可操作部件的铰接物体，通过模拟管道生成了277个有效的手-物体交互轨迹。它不重新分发GAPartNet的几何、URDF、渲染或注释，而是提供轨迹数据和机器可读的对象级清单，以支持与独立获取的源数据对齐。数据集按类别、对象ID和操作部件组织，每个轨迹文件包含相位、步骤、虚拟坐标、手腕旋转、手指自由度等字段。The DragMesh-2 Hand-Object Interaction Trajectories dataset contains simulation-generated hand-object interaction trajectories and their object/part reference metadata. It is based on 111 articulated objects with actionable parts from GAPartNet, generating 277 valid HOI trajectories through a simulation pipeline. The dataset does not redistribute GAPartNet geometry, URDFs, renders, or annotations, but provides trajectory data and a machine-readable object-level manifest to support alignment with independently obtained source data. It is organized by category, object ID, and manipulated part, with each trajectory file including fields such as phase, step, virtual coordinates, wrist rotation, and finger degrees of freedom.

搜集汇总

数据集介绍

构建方式

DragMesh-2数据集源自GAPartNet中PartNet-Mobility衍生的111个可动关节物体，通过仿真流水线生成277条有效的手物交互轨迹。构建过程包括筛选具备可操作部件的物体、在仿真环境中采用启发式规则驱动的手部与物体交互生成轨迹，并依据原始物体ID及部件标识（handle_<part_id>）对每条轨迹进行组织与对齐，最终形成层级分明的目录结构与机械可读的清单文件。

特点

该数据集的核心特色在于其精细化的手物交互轨迹记录，每条轨迹包含相位、步数、虚拟指尖坐标、手腕位姿、手指自由度及关节位置等多维度信息，完整呈现了操作过程中的手部运动学与物体状态变化。数据按物体类别、实例ID及操作部件三级索引，便于与源GAPartNet几何模型精确匹配，为可动关节物体的灵巧操作研究提供了高保真度的仿真数据支撑。

使用方法

使用DragMesh-2时，开发者需先从官方GAPartNet项目获取对应的物体网格与URDF模型，随后依据数据集提供的category、object_id及handle_<part_id>标识，将轨迹数据与物理资产关联。每条轨迹以JSON格式存储，可直接加载为Python字典进行解析，适用于训练手物交互策略、评估灵巧操作算法或作为仿真环境的输入序列。

背景与挑战

背景概述

DragMesh-2数据集由研究团队于近期创建，旨在推动手-物交互（Hand-Object Interaction, HOI）轨迹生成领域的发展。该数据集从GAPartNet项目中选用了111个具有可操作部件的铰接物体，并通过仿真流水线生成了277条有效的HOI轨迹。核心研究问题聚焦于模拟环境中手部与可动部件交互轨迹的标准化生成与组织，为机器人操作、虚拟现实及数字孪生等应用提供高质量数据基础。依托PartNet-Mobility和GAPartNet的丰富几何与语义信息，DragMesh-2显著增强了HOI任务的复现性与可扩展性，为交互式仿真研究树立了新标杆。

当前挑战

数据集面临的核心挑战包括：其一，领域问题层面，手-物交互轨迹的生成需精确捕捉手部运动学与物体铰接状态的耦合关系，现有规则性启发式管线难以泛化至未见的物体几何或运动学结构；其二，构建过程中，需从GAPartNet中精心筛选适用于交互任务的物体并验证其可操作性，同时确保仿真轨迹与原始物体资产的语义对齐，避免因标识符不一致导致数据错配。此外，数据集未随附物体几何模型，用户需独立获取第三方资源并遵守其许可条款，增加了数据复用的门槛与合规复杂性。

常用场景

经典使用场景

在手物交互与灵巧操作的研究领域中，DragMesh-2数据集以仿真生成的高质量手物交互轨迹为核心，为探索机械手与可活动部件之间的协调运动提供了宝贵的基准资源。该数据集精心挑选了111个来自GAPartNet的铰接物体，涵盖其可操作的部件类型，并生成了277条完整的交互轨迹，每条轨迹均包含手部关节位姿、腕部运动参数及物体部件运动状态等关键信息。其最经典的用途在于为学习方法提供密集而连续的运动监督信号，使得研究者能够训练模型精确预测手部在抓取、拉动、旋转等操作过程中与物体部件的协同运动，从而推动仿人灵巧操作策略从静态抓取向动态交互的实质性跨越。

衍生相关工作

DragMesh-2数据集的开放共享催生了一系列富有影响力的衍生研究工作，其中最具代表性的是将其作为关键数据源用于训练基于隐式神经网络的手物交互重建模型，以及开发面向铰接物体部件的运动扩散生成模型。研究者进一步利用该数据集的轨迹序列构建了时序预测框架，探索在手部未见配置下对未来接触点的推理能力。与此同时，该数据集与GAPartNet的紧密关联促进了物体部件感知与操作规划联合学习方法的发展，催生了多种将部件层级几何信息与交互运动学进行融合的网络架构，这些工作共同构成了当前灵巧操作研究中铰接物体动态交互方向的重要基石，并持续激发着对跨类别物体操作泛化能力的深入探讨。

数据集最近研究

最新研究方向

在具身智能与人机交互领域，DragMesh-2数据集聚焦于手-物体交互轨迹的仿真生成，为研究灵巧操作与可动部件间的动态协同开辟了新路径。依托GAPartNet精选的111个带动作部件的铰接物体，该数据集通过启发式规则管道产出了277条高质量轨迹，精准记录了手腕姿态、手指自由度及关节位置等关键运动参数。这一工作弥补了真实场景中精细交互数据稀缺的短板，推动了从单一物体抓取迈向复杂部件级操作的范式转变，尤其为机器人学习、虚拟现实中的触觉反馈以及数字孪生技术提供了坚实基础。其开放的轨迹结构与机器可读清单更便于跨数据集对齐，有望加速灵巧手策略在自动化装配、辅助康复等热点领域的应用落地。