RGBSQGrasp synthetic dataset

RGBSQGrasp合成数据集是由美国密歇根大学等机构创建的，包含36K个部分观测点云和超quadric基础真值对。该数据集通过Isaac Sim和PyBullet等低成本模拟器生成，模拟了真实世界场景中的遮挡情况，旨在帮助机器人理解混乱场景并识别抓握区域。数据集应用在机器人抓握领域，解决了部分观测下物体形状的理解和抓握问题。

The RGBSQGrasp synthetic dataset was developed by the University of Michigan and other institutions. It contains 36,000 pairs of partial point clouds and superquadric ground truth pairs. Generated via low-cost simulators including Isaac Sim and PyBullet, this dataset simulates occlusion scenarios in real-world scenes, aiming to help robots understand cluttered scenes and identify graspable regions. Applied in the field of robotic grasping, this dataset addresses the issues of object shape understanding and grasping under partial observation.

搜集汇总

数据集介绍

构建方式

RGBSQGrasp 数据集的构建采用了跨平台的模拟器，如 Isaac Sim、MuJoCo 和 PyBullet，以生成具有不同遮挡级别的场景。在每个场景中，从六个不同的相机视角捕捉物体的部分点云，并为每个点云分配一个真实的超二次曲面（SQ）基元作为地面真实值。通过这种方式，数据集包括了36K 个点云-SQ 地面真实值对，用于训练。此外，还应用了多种数据增强技术，如高斯噪声添加、点云缩放和随机平移，以提高数据集的泛化能力。

使用方法

使用 RGBSQGrasp 数据集进行训练时，首先需要对点云进行预处理，包括去除噪声、下采样和异常值去除。然后，将预处理后的点云输入到训练好的超二次曲面拟合网络中，以预测超二次曲面的形状参数。接下来，使用深度学习基础模型 Depth Pro 和 Segment Anything 2 进行深度估计和分割，以获得更丰富的几何信息。最后，根据超二次曲面的形状参数生成抓取位姿候选集，并通过碰撞检测、质量评分和抓取优先级等规则进行筛选，以选择最合适的抓取位姿。

背景与挑战

背景概述

在工业环境中，如仓储和制造，机器人装箱拣选是一项关键任务，用于库存管理和装配线操作。然而，由于物体在非结构化装箱拣选环境中的随机放置、重叠或纠缠，这些任务变得复杂。与桌面环境不同，桌面环境中的物体通常是孤立的，并以更可预测的方式定位，装箱环境面临两个主要挑战：（1）可用的相机视角有限，这使得通过多视图融合重建完整的物体模型变得困难；（2）由于物体与物体之间以及物体与箱子之间的相互作用导致的紧密空间约束和遮挡，导致物体识别和抓取失败。这些挑战限制了抓取的有效性，并使得机器人在杂乱的环境中操纵物体变得困难。为了解决这些挑战，能够从部分或完整的数据中推断抓取动作的技术对于装箱拣选系统至关重要。RGBSQGrasp是一个抓取框架，它利用超二次曲面形状基元和基础度量深度估计模型，从单目RGB相机中推断抓取姿势，从而消除了对深度传感器的需求。

当前挑战

RGBSQGrasp数据集面临的挑战包括：（1）有限的相机视角限制了通过多视图融合重建完整的物体模型的能力；（2）由于物体与物体之间以及物体与箱子之间的相互作用导致的紧密空间约束和遮挡，导致物体识别和抓取失败；（3）从有限的视角恢复超二次曲面是一个挑战，因为现有的方法依赖于多视角来进行近完整的点云重建，这在装箱拣选中限制了它们的有效性；（4）缺乏对物体的先验知识限制了抓取策略的泛化到新颖或未知的物体；（5）深度传感器的固有噪声和对物体理解的缺乏使得抓取合成和评估更加困难。

常用场景

经典使用场景

在工业环境中，例如仓储和制造，机器人分拣是一项至关重要的任务，涉及库存管理和装配线操作。然而，在非结构化的分拣环境中，物体往往随机放置、重叠或纠缠，这使得这些任务变得复杂。RGBSQGrasp数据集用于训练机器人，使其能够从单个RGB图像中推断抓取姿势，从而提高抓取稳定性和对未知物体的适应性。

解决学术问题

该数据集解决了在有限视图中恢复物体的挑战，现有的方法依赖于多个视角来重建几乎完整的点云，这限制了它们在分拣中的有效性。RGBSQGrasp通过使用超二次曲面形状基元和基础度量深度估计模型，从单目RGB相机中推断抓取姿势，消除了对深度传感器的需求。

实际应用

RGBSQGrasp在实际的分拣环境中表现出色，实现了92%的抓取成功率，突出了其在分拣环境中的有效性。此外，该数据集可以帮助机器人更好地理解和处理反射和半透明物体，这是传统深度方法难以处理的。

数据集最近研究

最新研究方向

在机器人抓取任务中，RGBSQGrasp 数据集通过单目 RGB 图像来推断抓取姿态，为机器人提供了一种无需深度传感器的抓取框架。该数据集的最新研究方向主要集中在利用超二次曲面形状基元和基础度量深度估计模型，从单目 RGB 相机中推断抓取姿态，从而克服了现有方法对已知 CAD 模型或先验物体几何形状的依赖，并解决了深度传感噪声和缺乏物体理解的问题。该框架通过几何推理可靠地推断抓取姿态，增强了抓取稳定性和对未知物体的适应性。RGBSQGrasp 在真实世界的机器人实验中表现出 92% 的抓取成功率，突显了其在密集拾取环境中的有效性。

相关研究论文

• RGBSQGrasp: Inferring Local Superquadric Primitives from Single RGB Image for Graspability-Aware Bin Picking

  美国密歇根大学 · 2025年