GraspClutter6D

GraspClutter6D是一个大规模真实世界抓取数据集，由韩国机械与材料研究所、光州科学技术院和韩国高等科学技术院共同创建。该数据集包含1000个高度杂乱的场景，平均每个场景14.1个实例，62.6%的遮挡率，共有52K RGB-D图像。数据集覆盖了200个物体在75种环境配置中的情况，使用四个RGB-D相机从多个视角进行捕获。数据集提供了73.6万个6D物体位姿和930亿个无碰撞的6-DoF抓取位姿。该数据集旨在解决机器人视觉抓取中的鲁棒性问题，特别是在杂乱环境中的抓取问题。GraspClutter6D is a large-scale real-world robotic grasping dataset jointly developed by the Korea Institute of Machinery and Materials (KIMM), Gwangju Institute of Science and Technology (GIST), and Korea Advanced Institute of Science and Technology (KAIST). It includes 1000 highly cluttered scenes, with an average of 14.1 instances per scene, a 62.6% occlusion rate, and a total of 52K RGB-D images. The dataset covers 200 object categories across 75 environmental configurations, captured from multiple viewpoints using four RGB-D cameras. It provides 736,000 6D object poses and 93 billion collision-free 6-DoF grasping poses. This dataset aims to address the robustness issues in robotic visual grasping, particularly grasping in cluttered environments.

搜集汇总

数据集介绍

构建方式

GraspClutter6D数据集的构建采用了系统化的多传感器采集与标注流程。研究团队开发了搭载四台RGB-D相机的机器人采集系统，在75种环境配置（包括货架、箱体和桌面）中捕获了1,000个高度杂乱场景。每个场景通过13个视角进行全方位记录，最终获得52,000幅RGB-D图像。标注过程采用众包策略与专业工具相结合的方式，首先在亚毫米级精度的融合点云上进行6D物体姿态标注，再通过相机参数传播到多视角图像。针对抓取标注，采用两阶段流程：首先生成基于力闭合指标的物体级抓取，再通过场景点云碰撞检测筛选出93亿个无碰撞6自由度抓取位姿。

特点

该数据集的核心价值体现在三个方面：场景复杂性方面，平均每场景包含14.1个物体实例，遮挡率高达62.6%，远超现有基准数据集；多样性方面涵盖200个物体和三种典型环境配置，通过多视角四相机系统捕获；标注完整性方面提供736K个6D物体位姿和93亿个抓取位姿，每个图像平均包含178K个抓取标注。特别值得注意的是，数据集采用Zivid高精度传感器作为基准，同时对低成本RGB-D相机进行深度校正，确保数据质量。与GraspNet-1B等现有数据集相比，其视角覆盖率提升16.7%，为复杂场景下的机器人操作研究提供了更全面的基准。

使用方法

该数据集支持两种标准评估模式：跨物体设置测试模型对新物体的泛化能力，采用68个未见过的YCB-HOPE物体作为测试集；类内设置则聚焦21个YCB-Video基准物体。研究人员可通过提供的工具包加载预处理好的RGB-D数据、6D位姿标注及抓取标注，利用附带的评估指标（如抓取成功率GSR和清除率DR）进行算法验证。对于感知任务，数据集提供实例分割掩码和物体位姿真值；对于抓取检测任务，每个抓取位姿包含夹持器配置、力闭合分数等信息。为促进领域发展，团队还公开了标注工具和所有物体的采购链接，支持自定义数据划分和合成数据生成。

背景与挑战

背景概述

GraspClutter6D是由韩国机械与材料研究所（KIMM）和光州科学技术院（GIST）的研究团队于2025年推出的一个大规模真实世界数据集，旨在解决机器人抓取在复杂杂乱环境中的鲁棒性问题。该数据集包含1,000个高度杂乱的场景，涵盖200个物体和75种环境配置，通过四个RGB-D相机从多视角捕获，提供了736K个6D物体位姿和9.3B个可行抓取标注。GraspClutter6D填补了现有数据集在场景复杂性和多样性上的不足，显著推动了机器人视觉感知与抓取领域的研究。

当前挑战

GraspClutter6D面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，数据集致力于解决高度杂乱场景下的物体分割、6D位姿估计和6自由度抓取检测问题，这些任务在物体密集排列（平均每场景14.1个物体）和高遮挡率（62.6%）条件下极具挑战性。在构建过程中，研究团队需要克服多传感器标定、深度数据校正、大规模场景标注（特别是高精度6D位姿标注）等难题，同时确保数据集的多样性和真实性。

常用场景

经典使用场景

GraspClutter6D数据集在机器人抓取领域具有广泛的应用价值，尤其在高度杂乱场景下的物体抓取任务中表现突出。该数据集通过提供1000个高度杂乱的场景，每个场景平均包含14.1个物体和62.6%的遮挡率，为研究者在复杂环境下的抓取算法开发提供了丰富的实验数据。其多视角RGB-D图像和详尽的6D物体位姿标注，使其成为评估和优化分割、位姿估计和抓取检测算法的理想选择。

实际应用

在实际应用中，GraspClutter6D数据集为仓储物流、工业制造和家庭服务等领域的机器人抓取任务提供了重要参考。其涵盖的多种环境配置（如货架、箱子和桌子）和多样化物体，使得算法能够适应不同场景的需求。例如，在仓储物流中，机器人可以利用该数据集训练的模型高效分拣杂乱堆放的物品；在家庭服务中，机器人则能更好地处理日常家居环境中的复杂抓取任务。

衍生相关工作

GraspClutter6D数据集推动了多个相关领域的研究进展，衍生出一系列经典工作。例如，基于该数据集优化的Contact-GraspNet和AnyGrasp算法在杂乱场景中表现出更高的抓取成功率。此外，该数据集还被用于改进实例分割模型（如Mask2Former）和6D位姿估计方法（如FoundationPose），进一步提升了这些算法在复杂环境中的性能。其公开的标注工具和数据集也为后续研究提供了便利。