REGRAD

REGRAD是一个大规模的关系抓取数据集，由西安交通大学人工智能与机器人研究所创建，旨在解决复杂场景中的目标驱动抓取问题。数据集包含90万条记录，涵盖55个类别和5万个不同的物体模型，支持2D图像和3D点云两种形式。创建过程中利用物理模拟器自动生成数据，避免了人工标注的偏差。REGRAD主要应用于机器人抓取和关系理解，特别是在密集杂乱环境中的抓取任务，旨在通过深度学习提高机器人对环境的感知和操作能力。

REGRAD is a large-scale relational grasping dataset created by the Institute of Artificial Intelligence and Robotics at Xi'an Jiaotong University, aiming to address object-driven grasping problems in complex scenarios. The dataset contains 900,000 records, covering 55 categories and 50,000 distinct object models, and supports two modalities: 2D images and 3D point clouds. During its development, a physical simulator was utilized to automatically generate the data, eliminating biases from manual annotation. REGRAD is mainly applied to robotic grasping and relational understanding, especially grasping tasks in dense cluttered environments, and it seeks to improve robots' environmental perception and manipulation capabilities through deep learning.

搜集汇总

数据集介绍

构建方式

REGRAD 数据集通过在物理模拟器中自动生成和标注数据，收集了对象姿态、分割、抓握和关系等注释，用于目标驱动的关联抓握任务。数据集包括 2D 图像和 3D 点云两种形式，并且由于所有数据都是自动生成的，因此可以轻松地导入新对象进行数据生成。此外，还提供了一个真实世界的验证数据集，用于评估在 REGRAD 上训练的模型的 sim-to-real 性能。通过一系列实验，证明了在 REGRAD 上训练的模型能够在现实场景中很好地泛化，包括关系和抓握检测。

特点

REGRAD 数据集具有以下特点：包含更多对象和类别，包括 55 个类别和 50K 个不同的对象模型；包括深度图像和点云等多种模态，有助于关系检测、抓握合成和 sim-to-real 转移；丰富的标签，包括每个对象的 6D 姿态、2D 图像上的边界框和分割、点云分割、抓握顺序的操纵关系图（MRG）、无碰撞且稳定的 6D 抓握和矩形 2D 抓握；分割的训练、验证和测试集，包括未见过的验证集和测试集，其中的对象属于未知类别；多视图数据，释放了对单视图感知的假设；自动数据生成，节省了数据标注的时间并避免了人为标注的偏差。

使用方法

REGRAD 数据集可用于关系检测和抓握检测等任务。用户可以下载数据集并使用提供的代码进行模型训练和评估。数据集分为训练集、验证集和测试集，用户可以根据需要选择使用。此外，还提供了真实世界的验证数据集，用于评估在 REGRAD 上训练的模型的 sim-to-real 性能。

背景与挑战

背景概述

在机器人抓取领域，尽管近年来取得了显著进展，但机器人仍然难以在复杂环境中完成如搜索和抓取指定目标等高级任务。这类任务不仅涉及抓取，还需要对世界进行全面的感知，例如理解物体之间的关系。REGRAD数据集正是在这一背景下创建的，旨在为学习物体之间的关系和抓取提供一个大型数据集。该数据集由西安交通大学人工智能与机器人研究所等机构的研究人员于2021年发布，包含了55个类别和50K个不同的物体模型，涵盖了2D图像和3D点云等多种模态，以及丰富的标签信息，如物体的6D姿态、边界框、分割、点云分割、操作关系图、无碰撞且稳定的6D抓取和矩形2D抓取等。此外，REGRAD数据集还包含了未见过的验证集和测试集，以评估模型在未知类别物体上的表现。REGRAD数据集的创建为机器人抓取领域的研究提供了重要的数据资源，有助于推动机器人对复杂环境中的物体进行更全面和准确的感知和理解。

当前挑战

REGRAD数据集所面临的挑战主要包括：1)理解物体之间的关系，这对于推断正确的抓取顺序至关重要；2)在密集杂乱的环境中执行特定物体的抓取，这会导致物体之间严重的重叠和遮挡。为了解决这些问题，REGRAD数据集采用了自动生成的数据，并通过物理模拟器自动标注操作关系，避免了昂贵的人工标注和人为偏差。此外，REGRAD数据集还包含了多视角数据，释放了单视角感知的假设，并提供了开源代码以方便数据生成。未来，REGRAD数据集可以进一步扩展，包括使用物体描述来增强人机交互，以及探索更复杂的物体关系，如考虑物体的属性和动作本身。此外，REGRAD数据集还可以用于解决目标驱动的抓取检测和模拟到现实迁移学习等挑战。

常用场景

经典使用场景

REGRAD数据集在机器人抓取领域的经典使用场景包括目标驱动的抓取任务，特别是在杂乱场景中对特定物体的搜索和抓取。该数据集为模型提供了丰富的物体姿态、分割、抓取和关系标注，有助于机器人理解和学习物体之间的关系，从而推断正确的抓取顺序，避免对其他物体造成损害。此外，REGRAD数据集还包含了深度图像和点云等多种模态的数据，有助于关系检测、抓取合成和模拟到现实的迁移。

衍生相关工作

REGRAD数据集的发布推动了一系列相关研究的进展。例如，基于REGRAD数据集，研究人员提出了多种关系检测和抓取检测算法，如Visual Manipulation Relationship Network和REGNet等。这些算法在REGRAD数据集上取得了显著的性能提升，并在实际应用场景中得到了验证。此外，REGRAD数据集还推动了机器人抓取领域的研究方向，如对象无关的关系检测、目标驱动的抓取检测和模拟到现实的学习等。这些研究有望进一步提高机器人抓取的精度和泛化能力，推动机器人技术的进一步发展。

数据集最近研究

最新研究方向

在机器人抓取领域，REGRAD数据集为研究提供了新的视角。该数据集专注于学习对象之间的关系，这对于在复杂场景中进行目标驱动抓取至关重要。REGRAD数据集包含丰富的标注信息，包括对象位姿、分割、抓取和关系，这些信息对于训练能够理解高级视觉概念的算法至关重要。此外，REGRAD数据集的自动生成特性使得它可以轻松地引入新的对象，并且通过物理模拟器生成的数据避免了人工标注带来的偏差。该数据集的发布为机器人抓取领域的研究提供了宝贵的资源，有助于推动机器人抓取技术向更复杂、更智能的方向发展。

相关研究论文

• REGRAD: A Large-Scale Relational Grasp Dataset for Safe and Object-Specific Robotic Grasping in Clutter

  西安交通大学人工智能与机器人研究所 · 2021年