6-DoF Task Grasp (6DTG)

6-DoF Task Grasp (6DTG) 数据集是由中山大学计算机科学与工程学院构建的大型6-DoF任务导向抓取数据集。该数据集包含4391个杂乱场景，超过200万个6-DoF抓取姿态，每个抓取姿态都标注了特定任务。数据集的特点包括：细粒度的抓取任务标注、6-DoF抓取姿态和杂乱场景、密集标注的抓取姿态。该数据集旨在解决任务导向的6-DoF抓取姿态检测问题，为机器人抓取研究提供更实际和通用的数据支持。The 6-DoF Task Grasp (6DTG) dataset is a large-scale 6-DoF task-oriented grasping dataset constructed by the School of Computer Science and Engineering, Sun Yat-sen University. It contains 4391 cluttered scenes and over 2 million 6-DoF grasping poses, with each grasping pose annotated with a specific task. The dataset is characterized by fine-grained grasping task annotations, 6-DoF grasping poses in cluttered scenes, and densely annotated grasping poses. This dataset aims to address the task-oriented 6-DoF grasping pose detection problem, providing more practical and general data support for robotic grasping research.

搜集汇总

数据集介绍

构建方式

6-DoF Task Grasp (6DTG) 数据集的构建是基于对现实世界中人类抓取行为的模拟。数据集收集了厨房和家用物品，如杯子、瓶子、刀子、帽子和碗，并对这些物品进行了6自由度抓取姿态的标注。为了模拟真实环境中的杂乱场景，研究人员使用了ShapeNetSem和ACRONYM数据集作为物品和稳定抓取姿态的原型。通过对物品进行随机组合和放置，生成了包含多个物品的杂乱场景，并使用不同的相机姿态渲染了点云观察数据。每个抓取姿态都被标注了对应的任务，如抓取、包裹、倾倒、切割等，以便支持面向任务的抓取。

特点

6DTG数据集的特点在于其精细的任务标注、6自由度抓取姿态和杂乱场景。数据集中包含了超过200万个6自由度抓取姿态，每个抓取姿态都被标注了对应的任务。这种精细的任务标注使得数据集能够支持面向任务的抓取研究。同时，6自由度抓取姿态和杂乱场景的设置使得数据集更加实用，能够模拟现实世界中的复杂环境。此外，数据集还提供了丰富的抓取姿态标注，这对于训练鲁棒的抓取姿态检测网络至关重要。

使用方法

6DTG数据集的使用方法主要包括以下步骤：首先，将点云数据输入到One-Stage TaskGrasp (OSTG) 模型中，模型会输出每个抓取点的特征。然后，Task-Oriented Point Selection模块根据抓取点的特征、目标物体和任务信息，选择出适合完成任务的抓取点。最后，Task-Guided Grasp Pose Detection模块会根据选择的抓取点和任务信息，直接生成面向任务的6自由度抓取姿态。此外，还可以使用数据集中的抓取姿态标注进行模型训练，以提升抓取姿态检测的准确性和鲁棒性。

背景与挑战

背景概述

在机器人抓取姿势检测的研究领域中，6-DoF Task Grasp (6DTG) 数据集的创建为该领域带来了新的研究视角。该数据集由中山大学计算机科学与工程学院的研究团队于2025年提出，旨在解决机器人如何在杂乱环境中进行任务导向的6-DoF抓取姿势检测问题。数据集的核心研究问题是如何让机器人在复杂的场景中，根据不同的任务需求选择合适的抓取姿势。6DTG 数据集的提出，对推动机器人抓取姿势检测领域的研究具有重要意义，为相关领域的研究人员提供了宝贵的实验数据和参考价值。

当前挑战

6DTG 数据集的构建过程中，研究人员面临着一系列挑战。首先，现有的任务导向抓取数据集通常受限于低自由度的抓取器类型或非杂乱的环境设置，难以应用于现实生活中的助人任务。其次，为了满足 TO6DGC 问题的需求，数据集需要为每个抓取姿势标注相应的任务标签，这要求数据集具有细粒度的抓取任务标注。此外，数据集的构建还需要生成大量的 6-DoF 抓取姿势标注，以支持训练鲁棒的抓取姿势检测网络。最后，为了解决 TO6DGC 问题，研究人员提出了 One-Stage TaskGrasp (OSTG) 算法，该算法需要直接在单阶段中检测任务导向的 6-DoF 抓取姿势，这要求算法能够有效地处理杂乱场景中的抓取点选择和抓取姿势生成问题。

常用场景

经典使用场景

在机器人抓取领域，6-DoF Task Grasp (6DTG) 数据集主要用于解决任务导向的抓取姿态检测问题，特别是在复杂场景中。该数据集包含大量标注了特定任务的 6-DoF 抓取姿态，适用于训练机器人如何根据不同的任务需求选择合适的抓取姿态。例如，机器人可以根据任务需求选择抓取刀柄以切割，或者抓取刀片以传递。通过使用 6DTG 数据集，研究人员可以训练出更符合人类抓取习惯的机器人抓取模型，从而提高机器人在实际生活中的辅助能力。

衍生相关工作

基于 6DTG 数据集，研究人员已经开发出了一些经典的工作，如 One-Stage TaskGrasp (OSTG) 模型。该模型采用任务导向的点选择策略和抓取生成模块，能够有效地检测任务导向的 6-DoF 抓取姿态。此外，6DTG 数据集还为其他相关研究提供了数据支持，如抓取点采样策略、抓取姿态表示方法等。通过研究 6DTG 数据集，研究人员可以进一步推动机器人抓取领域的发展，开发出更智能、更实用的机器人抓取系统。

数据集最近研究

最新研究方向

在机器人抓握姿势检测领域，最新的研究方向聚焦于任务导向的6-DoF抓握姿势检测。该方向旨在解决在复杂环境中，机器人如何根据不同任务需求选择合适的抓握姿势。与以往主要关注稳定抓握的方法不同，任务导向的抓握姿势检测更贴近人类抓握方式，即抓握动作是为了完成特定任务，而非仅为了抓取物体。为了推动该领域的研究，研究团队构建了一个大规模的6-DoF任务导向抓握数据集6-DoF Task Grasp (6DTG)，包含超过200万个6-DoF抓握姿势，并标注了与特定任务相关的抓握信息。此外，研究团队还提出了一种名为One-Stage TaskGrasp (OSTG)的强基线方法，该方法采用任务导向的点选择策略和抓握生成模块，能够在单阶段直接检测任务导向的6-DoF抓握姿势。实验结果表明，OSTG在多个指标上优于其他基线方法，并在真实机器人实验中验证了其有效性。这一研究方向不仅有助于提升机器人的抓握能力，也为机器人辅助人类完成复杂任务提供了可能。

相关研究论文

• Task-Oriented 6-DoF Grasp Pose Detection in Clutters

  中山大学计算机科学与工程学院 · 2025年