DA$^2$ Dataset

DA$^2$数据集是首个大规模的双臂灵巧感知数据集，用于生成任意大型物体的最优双臂抓取对。该数据集包含约900万对平行颚抓取，来自超过6000个对象，每个抓取对都标有多种抓取灵巧度量。The DA² Dataset is the first large-scale dual-arm dexterous perception dataset dedicated to generating optimal dual-arm grasp pairs for arbitrarily large objects. It contains approximately 9 million parallel jaw grasp pairs from over 6000 objects, with each grasp pair annotated with multiple grasp dexterity metrics.

搜集汇总

数据集介绍

构建方式

在双机械臂协同操作领域，针对大型物体的灵巧抓取任务长期缺乏标准化数据支撑。DA²数据集基于ShapeNetSem中的6327个三维网格模型构建，通过创新的分块对极采样策略生成抓取候选姿态。该方法将原始物体的包围盒划分为3×3×3的子块，在各子块内并行执行对极采样，有效解决了大型物体表面采样稀疏及夹爪最大开合宽度限制问题。随后，从单臂抓取集合中随机组合生成约900万对双臂抓取姿态，并基于力闭合检验进行初步筛选，最终为每个物体保留至多2001对高质量抓取候选。

特点

该数据集的核心创新在于引入多维灵巧度量体系。基于抓取矩阵分析，从抓取稳定性（通过力闭合条件评估）、最小奇异值（衡量抗干扰能力）和力最小化（利用力椭球主轴与重力方向夹角表征能耗效率）三个维度对每对抓取姿态进行标注。这种综合评估机制突破了传统仅依赖力闭合的单一指标局限，使数据集能够反映双臂抓取在稳定性、灵巧性和能量消耗方面的平衡特性。数据分布经过精心调控，确保各度量维度覆盖广泛且均衡。

使用方法

DA²数据集支持多种下游任务，尤其适用于训练基于点云的双臂抓取质量评估模型。研究者可借助Pyrender等渲染工具从虚拟场景生成深度图与点云，并利用数据集提供的标准变换流程将点云转换至物体坐标系，消除相机视角歧义。配套的Dual-PointNetGPD基线模型展示了典型应用范式：通过改进PointNet架构处理双臂抓取特征，将三个灵巧度量加权融合为综合评分标签，实现从海量候选对中筛选最优抓取配置。数据集同时兼容碰撞检测、杂乱场景渲染等常见操作，可扩展至人机交接、协同搬运等实际应用场景。

背景与挑战

背景概述

在机器人操作领域，双臂抓取相较于单臂系统在处理大尺寸、形状复杂物体时展现出显著优势，能够实现更高的灵活性与负载能力。然而，现有抓取数据集多聚焦于单臂场景，缺乏针对双臂协同操作的大规模标准化数据资源。为填补这一空白，2022年由腾讯机器人实验室、慕尼黑工业大学、帝国理工学院及浙江大学的研究人员共同创建了DA²数据集。该数据集基于ShapeNetSem中的6000余个三维网格模型，生成了约900万对平行夹爪抓取姿态，并首次引入灵巧性度量（包括抓取稳定性、最小奇异值与力最小化）对抓取对进行标注。DA²数据集的提出为双臂最优抓取研究提供了标准化基准，推动了视觉引导下双臂操作从理论走向实际应用，对家庭与工业场景中大型物体的自主抓取具有里程碑式意义。

当前挑战

DA²数据集面临的核心挑战源于双臂抓取问题的复杂性。首先，在领域问题层面，单臂抓取方法无法直接迁移至双臂场景，因为大物体具有更复杂的几何特征与载荷分布，需要从海量随机组合的抓取对中筛选出可行且合理的配置。其次，在构建过程中，传统对极采样方法对大物体存在采样稀疏性与碰撞检测效率低下的问题，为此研究者提出了分块递增采样策略，但如何平衡采样粒度与计算开销仍是难点。此外，抓取灵巧性标注需综合抓取矩阵的多种代数性质，而力闭合条件、最小奇异值与力椭球方向的联合优化使得标签生成过程异常繁琐。最后，合成数据与真实环境之间的域差距显著影响抓取成功率，物体重量、表面摩擦系数等物理属性差异导致模型泛化能力受限，如何缩小这一鸿沟是未来研究的关键方向。

常用场景

经典使用场景

DA²数据集是首个面向灵巧感知的双臂抓取大规模数据集，其经典使用场景聚焦于为任意大型物体生成最优双臂平行夹爪抓取对。该数据集基于ShapeNetSem中超过6000个三维网格模型，通过创新的块状对极采样策略，生成了约900万对六自由度抓取姿态，并辅以抓取稳定性、最小奇异值和力最小化等多重灵巧度量标签。研究者可借助该数据集训练端到端的抓取质量评估网络，如Dual-PointNetGPD，从而在仿真或真实场景中从海量候选对中筛选出兼顾稳定与灵巧的双臂抓取方案。

实际应用

在实际应用中，DA²数据集赋能机器人双臂系统在工业和家庭环境中执行高难度灵巧操作任务。例如，机器人可借助基于该数据集训练的模型，稳定抓取并递送大型工具、家具或箱体，实现人机协作中的物体交接（Robot-to-Human Handover）。在仓储物流场景中，双臂机器人能协同搬运重型货箱，避免单臂操作因力分布不均导致的滑落风险。此外，该数据集还支持自主双臂分拣、装配等任务，通过灵巧度量引导抓取姿态选择，显著提升了机器人对非结构化环境中大型物体的适应能力与操作可靠性。

衍生相关工作

DA²数据集催生了多项具有深远影响的衍生工作。其提出的Dual-PointNetGPD基线模型为双臂抓取质量评估树立了标杆，后续研究者在此基础上改进点云特征嵌入与坐标变换，发展了更高效的双臂抓取检测网络。该数据集还激发了关于双臂灵巧操作中域适应与仿真到现实迁移的研究，促使学者探索光度渲染与域随机化技术以弥合仿真与真实场景的差距。此外，DA²所定义的力最小化与奇异规避度量被广泛应用于双臂协同规划，衍生出结合动态系统与扩展协同任务空间的运动控制方法，进一步推动了机器人灵巧操作的整体进步。