UltraDexGrasp-20M

UltraDexGrasp-20M是由上海人工智能实验室联合多所高校构建的双臂机器人通用灵巧抓取数据集，包含1,000个物体上生成的2,000万帧多策略抓取数据。该数据集通过优化合成与运动规划相结合的创新流程生成，支持两指捏取、三指抓握、全手抓取及双臂协同四种抓取策略，覆盖5克至1千克、0.03米至0.5米尺寸范围的多样化物体。其核心价值在于突破双臂协调抓取的数据瓶颈，为机器人零样本仿真到现实迁移提供高质量训练基础，实测抓取成功率可达81.2%。

UltraDexGrasp-20M is a universal dexterous grasping dataset for dual-arm robots, developed by the Shanghai AI Laboratory in collaboration with multiple universities. It contains 20 million frames of multi-strategy grasping data generated from 1,000 objects. This dataset is generated via an innovative workflow that integrates optimized synthesis and motion planning. It supports four grasping strategies: two-finger pinching, three-finger grasping, full-hand grasping, and dual-arm collaborative grasping, covering a diverse set of objects weighing from 5 grams to 1 kilogram and with sizes ranging from 0.03 m to 0.5 m. Its core value lies in breaking through the data bottleneck of dual-arm coordinated grasping, providing a high-quality training foundation for zero-shot simulation-to-real transfer of robotic systems, with an actual measured grasping success rate reaching 81.2%.

原始信息汇总

UltraDexGrasp 数据集概述

基本信息

• 数据集名称：UltraDexGrasp
• 核心内容：一个用于双手机器人通用灵巧抓取的框架。
• 相关论文：UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data
• 作者：Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang
• 所属机构：上海人工智能实验室、香港中文大学、浙江大学、香港大学、北京大学
• 会议/年份：ICRA 2026
• 论文链接：https://arxiv.org/abs/2603.05312
• 项目主页：https://yangsizhe.github.io/ultradexgrasp/

核心特点

• 数据生成流程：集成了基于优化的抓取合成器与基于规划的演示生成模块。
• 支持的抓取策略：包括两指捏取、三指三脚架抓取、全手抓取以及双手抓取。
• 策略性能：基于该流程生成的数据进行训练的策略，展示了鲁棒的零样本仿真到现实迁移能力，并对不同形状、尺寸和重量的新物体具有强大的泛化能力。

使用指南

安装

1. 克隆代码库：git clone https://github.com/InternRobotics/UltraDexGrasp.git
2. （可选）使用Conda创建Python环境。
3. 安装依赖项：
   • 根据CUDA版本安装PyTorch。
   • 运行 pip install -r requirements.txt。
   • 安装第三方库：PyTorch3D、cuRobo、BODex_api。

使用方法

通过运行 rollout.py 脚本生成不同抓取策略的轨迹，参数示例：

• 左手全手抓取：--hand 0 --object_scale_list [0.08]
• 右手全手抓取：--hand 1 --object_scale_list [0.08]
• 双手抓取：--hand 2 --object_scale_list [0.25]
• 左手三指三脚架抓取：--hand 3 --object_scale_list [0.04]
• 右手三指三脚架抓取：--hand 4 --object_scale_list [0.04]

可通过修改 env/config/env.yaml 中的 object_mesh_path 来指定其他物体的网格文件。

引用

如需引用本工作，请使用提供的BibTeX条目。

许可证

本项目基于 Apache 2.0 许可证发布。

致谢

代码基于 BODex 构建，感谢原作者的开源贡献。

搜集汇总

数据集介绍

构建方式

在机器人灵巧抓取领域，高质量数据的生成是推动算法发展的关键。UltraDexGrasp-20M数据集的构建采用了一种创新的合成数据生成流程，该流程将基于优化的抓取合成器与基于规划的演示生成模块深度融合。具体而言，流程首先从DexGraspNet中选取1000个不同物体资产，在仿真环境中初始化场景。抓取合成阶段通过一个双层非线性优化程序，联合优化双手的抓取位姿与接触力，以生成物理合理且几何贴合的多策略抓取。随后，系统通过运动规划为选定的最优抓取生成无碰撞、协调的双臂运动轨迹，并在仿真中执行与物理验证，最终渲染并收录成功抓取的演示，从而构建出包含2000万帧的大规模数据集。

使用方法

该数据集主要用于训练和评估双臂机器人的通用灵巧抓取策略。研究人员可以基于UltraDexGrasp-20M，开发以点云为输入的端到端抓取策略模型。典型的使用方法包括：利用数据集中的点云序列和对应的机器人动作序列，训练一个能够聚合场景特征并预测控制指令的神经网络策略。训练时，模型学习根据物体的几何形状自主选择合适的抓取策略。完成训练后，策略可直接在仿真环境中进行测试，评估其在已见及未见物体上的泛化性能。更为重要的是，得益于数据生成时对仿真到现实差距的针对性处理，训练好的策略能够实现零样本的仿真到现实迁移，直接部署到真实的双臂机器人系统上，完成对多种新物体的鲁棒抓取。

背景与挑战

背景概述

在机器人灵巧操作领域，实现类人水平的抓取能力是推动机器人自主交互物理世界的关键。传统研究多集中于平行夹爪或单手机器人，对于双手机器人的通用灵巧抓取则探索不足，高质量数据的匮乏成为主要瓶颈。为应对这一挑战，上海人工智能实验室联合多所高校的研究团队于2026年提出了UltraDexGrasp-20M数据集。该数据集旨在解决双手机器人面对不同形状、尺寸与重量物体时，自主选择并执行多种抓取策略的核心研究问题。通过融合优化抓取合成与基于规划的运动生成，该数据集构建了涵盖两指捏取、三指抓握、全手抓取及双手协调抓取等策略的大规模轨迹，显著推动了通用灵巧抓取策略的仿真到现实迁移研究。

当前挑战

构建UltraDexGrasp-20M数据集面临双重挑战。在领域问题层面，通用灵巧抓取要求机器人能够根据物体几何与物理属性动态选择抓取策略，并生成在物理上合理、几何上贴合且能抵抗外部力矩的稳定抓取姿态，这对高自由度双手机器人的协调运动规划提出了极高要求。在数据构建过程中，挑战主要源于生成高质量、多样化轨迹的复杂性。传统强化学习专家策略缺乏动作多样性，而优化与学习方法多为开环且常忽略手臂运动学，难以生成动态闭环演示。此外，在仿真中合成物理可信的双手抓取，并确保其能通过运动规划生成无碰撞、协调的自然轨迹，是数据集构建的核心技术难题。

常用场景

经典使用场景

在机器人灵巧操作领域，UltraDexGrasp-20M数据集为双手机器人的通用灵巧抓取研究提供了关键支撑。该数据集通过集成优化式抓取合成与规划式演示生成，构建了涵盖两指捏取、三指三脚架、全手抓取及双手协同抓取等多种策略的大规模轨迹数据。研究者可基于此数据集训练端到端的抓取策略模型，利用点云输入与单向注意力机制，实现从仿真到真实环境的零样本迁移，从而系统评估模型在多样化物体上的泛化能力与抓取鲁棒性。

解决学术问题

UltraDexGrasp-20M有效应对了双手机器人灵巧抓取研究中数据匮乏与质量不足的核心挑战。传统方法往往局限于单手机器人或平行夹爪，难以生成符合物理约束、几何贴合且能抵抗外力的高质量双手抓取轨迹。该数据集通过优化与规划相结合的生成流程，提供了2000万帧覆盖1000种物体的多策略抓取数据，为研究双手协调、抓取策略自适应以及仿真到真实迁移等关键问题提供了可靠基准，显著推动了通用灵巧抓取算法的发展。

实际应用

在实际机器人部署中，基于UltraDexGrasp-20M训练的抓取策略展现出强大的现实适应性。该策略能够根据物体的形状、尺寸与重量自主选择抓取方式，例如对大型重物采用双手协同抓取，对中型物体使用全手抓取，对小物件则运用两指或三指精细操作。在真实世界测试中，策略对从未见过的物体实现了81.2%的平均抓取成功率，涵盖了从3.6克到1095克、体积差异巨大的各类日常物品，为家庭服务、物流分拣等场景的机器人灵巧操作提供了实用化解决方案。

数据集最近研究

最新研究方向

在机器人灵巧抓取领域，UltraDexGrasp-20M数据集正推动着双手机器人通用灵巧抓取的前沿探索。该数据集通过融合基于优化的抓取合成与基于规划的示教生成，构建了涵盖多种抓取策略的大规模合成数据，有效解决了双手机器人抓取中数据稀缺与质量不足的核心瓶颈。当前研究热点聚焦于利用此类高质量合成数据训练通用抓取策略，实现从仿真到现实的零样本迁移，并提升策略对形状、尺寸及重量各异的新物体的泛化能力。这一进展不仅为双手机器人复杂操作任务奠定了数据基础，也加速了通用灵巧抓取算法向实际部署的转化，对推动人形机器人及服务机器人的实用化发展具有深远意义。

相关研究论文

• UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

  上海人工智能实验室; 香港中文大学; 浙江大学; 香港大学; 北京大学 · 2026年