DGA, Realdex, DexGraspNet, UniDexGrasp, MultiDex, DexGRAB

DexGrasp Anything: 具有物理感知的通用机器人灵巧抓取数据集。RealDex: 面向人类类似抓取的机器人灵巧手数据集。DexGraspNet: 基于仿真的通用物体大规模机器人灵巧抓取数据集。UniDexGrasp: 通过学习多样化提案生成和目标条件策略的通用机器人灵巧抓取数据集。MultiDex: 通用灵巧抓取数据集。DexGRAB: 从Grab重新定位的全身人类抓取物体数据集。DexGrasp Anything: A physically-aware general robotic dexterous grasping dataset. RealDex: A robotic dexterous hand dataset oriented towards human-like grasping. DexGraspNet: A large-scale simulated general-object robotic dexterous grasping dataset. UniDexGrasp: A general robotic dexterous grasping dataset via learning diverse proposal generation and goal-conditioned policies. MultiDex: A general dexterous grasping dataset. DexGRAB: A full-body human object grasping dataset repurposed from the Grab dataset.

原始信息汇总

DexGrasp Anything 数据集概述

📌 基本信息

• 数据集名称: DexGrasp Anything (DGA)
• 发布机构: 上海科技大学
• 相关论文: DexGrasp Anything: Towards Universal Robotic Dexterous Grasping with Physics Awareness
• 发布时间: 2025年
• 会议: CVPR 2025

📊 数据集内容

• 数据集类型: 机器人灵巧抓取数据集
• 包含数据集:
  • DGA: 下载链接
  • Realdex: 下载链接
  • DexGraspNet: 下载链接
  • UniDexGrasp: 下载链接
  • MultiDex: 下载链接
  • DexGRAB: 下载链接

🛠️ 数据集构建

• 对象要求: 包含对象的网格文件
• 处理脚本:
  • Process_your_dataset/make_obj_pcds.py: 用于生成点云数据
  • Process_your_dataset/make_obj_urdf.py: 用于生成URDF文件
• 注意事项: 需根据数据格式创建对应的.pt文件，并确保数据可视化正确

🏗️ 环境配置

• Python版本: 3.8
• 主要依赖:
  • PyTorch 1.11.0+cu113
  • torchvision 0.12.0+cu113
  • Isaac Gym (需单独安装)
• 安装步骤:
  1. 创建conda环境并激活
  2. 安装依赖包
  3. 安装CSDF和pytorch3d
  4. 安装Isaac Gym

📝 训练与测试

• 训练命令:
  • 单GPU: bash scripts/grasp_gen_ur/train.sh ${EXP_NAME}
  • 多GPU: bash scripts/grasp_gen_ur/train_ddm.sh ${EXP_NAME}
• 采样命令: bash scripts/grasp_gen_ur/sample.sh ${exp_dir} [OPT]
• 测试命令: bash scripts/grasp_gen_ur/test.sh ${EVAL_DIR}

📂 模型检查点

• 可用检查点:
  • Realdex: CKPT
  • DexGraspNet: CKPT
  • UniDexGrasp: CKPT
  • MultiDex: CKPT
  • DexGRAB: CKPT

📜 许可证

• 许可证类型: 2-clause BSD License
• 使用限制: 仅限学术用途

🙏 致谢

• 代码和数据集部分借鉴自Scene-Diffuser、RealDex、DexGraspNet、UniDexGrasp、GRAB和MultiDex Dataset

✍️ 引用

@article{zhong2025dexgrasp, title={DexGrasp Anything: Towards Universal Robotic Dexterous Grasping with Physics Awareness}, author={Zhong, Yiming and Jiang, Qi and Yu, Jingyi and Ma, Yuexin}, journal={arXiv preprint arXiv:2503.08257}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人灵巧抓取研究领域，DexGraspAnything数据集通过整合多源异构数据构建而成。其核心构建流程包括物体网格文件处理、点云采样生成以及姿态格式转换三个关键环节。研究团队开发了专用的数据处理脚本，如make_obj_pcds.py用于从物体网格生成带法向量的点云数据，并通过make_obj_urdf.py创建统一的URDF文件格式。特别值得注意的是，数据集构建过程中严格区分了物体点云与机械手之间的空间变换关系，确保姿态参数的物理准确性。

特点

该数据集最显著的特点在于其前所未有的通用性和物理真实性。作为当前最大的机器人灵巧抓取基准，它整合了Realdex、DexGraspNet等六个权威子数据集，覆盖广泛的物体类别和抓取场景。数据集采用统一规范的.pt格式存储，包含精确的平移、旋转和缩放参数，支持直接物理仿真验证。特别设计的dataloader可实现输入数据可视化校验，确保数据质量。其多模态特性既包含仿真数据也整合了真实抓取记录，为跨域迁移研究提供了理想平台。

使用方法

使用该数据集需要配置特定的软件环境，包括PyTorch 1.11.0、Isaac Gym仿真平台等依赖项。研究人员可通过修改configs中的参数灵活设置数据集路径、模型规模等关键参数。数据集支持单GPU训练（train.sh）和多GPU分布式训练（train_ddm.sh）两种模式，并提供了完整的测试流程。物理引导采样（Physics-Guided Sampling）作为可选功能，可通过sample.sh脚本的OPT参数启用。评估阶段需依次执行采样和测试脚本，系统会自动计算抓取成功率等量化指标。

背景与挑战

背景概述

DexGrasp Anything数据集由上海科技大学的Yiming Zhong、Qi Jiang、Jingyi Yu和Yuexin Ma等研究人员于2025年提出，旨在解决机器人灵巧抓取领域的核心问题。该数据集整合了多个现有数据集（如Realdex、DexGraspNet、UniDexGrasp等），并通过物理感知技术提升了抓取生成的通用性和鲁棒性。其研究背景基于机器人操作中对多样化物体进行灵巧抓取的需求，填补了现有数据集中物理真实性和泛化能力的不足。该工作被CVPR 2025收录，标志着其在计算机视觉与机器人学交叉领域的重要影响力。

当前挑战

DexGrasp Anything数据集面临的挑战主要体现在两个方面：领域问题的复杂性和数据构建的技术难度。在领域问题方面，灵巧抓取需要处理高自由度的机械手控制、多样化的物体几何形状以及物理交互的实时模拟，这对算法的泛化能力和计算效率提出了极高要求。在数据构建过程中，研究人员需解决多源数据集融合的兼容性问题、物理仿真的真实性优化，以及大规模点云数据处理的技术瓶颈。这些挑战直接影响了数据集的质量和应用范围，成为该领域进一步发展的关键障碍。

常用场景

经典使用场景

在机器人灵巧抓取领域，DexGraspAnything数据集为研究者提供了丰富的多指手抓取姿态生成基准。该数据集通过整合DGA、Realdex等六个子数据集，覆盖了从仿真到真实场景的多样化抓取需求，特别适用于训练基于物理感知的通用抓取生成模型。其标准化数据格式和兼容性设计，使得研究者能够快速验证算法在跨数据集场景下的泛化能力。

解决学术问题

该数据集有效解决了机器人灵巧抓取研究中三大核心问题：仿真到现实的迁移差距、多样化物体抓取策略泛化性不足，以及物理合理性难以量化评估。通过融合多源数据集并引入物理约束指标，研究者可系统性分析抓取稳定性与物体物性参数的关联规律，推动基于学习的抓取生成方法突破现有精度边界。

衍生相关工作

基于该数据集衍生的研究已形成技术演进脉络：DexGraspNet开创了大规模仿真抓取数据范式，UniDexGrasp提出目标条件化策略生成框架，而本工作则首次实现多数据集统一评估基准。相关成果在IEEE Transactions on Robotics等期刊形成专题研讨，推动领域向通用灵巧操作方向迈进。