DoPose-6D

DoPose-6D数据集由德国多特蒙德工业大学创建，专注于6D姿态估计和对象分割，特别适用于智能机器人抓取和操作场景。该数据集包含两种场景：箱内拾取和桌面，主要用于箱内拾取场景。数据集包含18种不同形状、大小、颜色和纹理的对象，通过高动态范围图像捕捉，提供丰富的真实图像和标注，适用于多种计算机视觉任务。创建过程中，使用了Zivid Two结构光相机和Kuka iiwa LBR 14机器人手臂进行数据采集和标注，确保数据的高质量和准确性。该数据集的应用领域包括机器人抓取、自动化仓库系统等，旨在解决高杂乱度和高遮挡环境下的对象识别和抓取问题。DoPose-6D Dataset is developed by the Technical University of Dortmund, Germany, focusing on 6D pose estimation and object segmentation, and is specifically applicable to intelligent robotic grasping and manipulation scenarios. It includes two scenarios: bin picking and tabletop, with the bin picking scenario being the main focus. The dataset contains 18 objects with distinct shapes, sizes, colors and textures, which are captured using high dynamic range (HDR) images, providing rich real-world images and corresponding annotations suitable for various computer vision tasks. During the dataset creation process, a Zivid Two structured-light camera and a Kuka iiwa LBR 14 robotic arm were employed for data acquisition and annotation, ensuring high data quality and accuracy. The application fields of this dataset include robotic grasping, automated warehouse systems and others, aiming to solve the problems of object recognition and grasping in highly cluttered and heavily occluded environments.

搜集汇总

数据集介绍

构建方式

在机器人抓取与场景理解领域，真实数据集的稀缺性促使DoPose-6D数据集采用半自动化方式构建。通过搭载于Kuka机械臂的结构光相机，采集了高动态范围图像、深度信息及多视角变换矩阵，涵盖301个场景的3325幅视图。数据标注以BOP格式标准化，手动标注中心视角的6D姿态后，利用相机变换矩阵投影至其他视角，并生成实例分割掩码与点云注释，从而支持多任务学习。

特点

DoPose-6D数据集的核心特点在于其专注于高遮挡、紧密堆叠的箱拣场景，同时包含桌面场景，提供了当前最大规模的真实箱拣场景图像集合。数据集涵盖18类物体，包含6D姿态估计、实例分割及多视角注释，并额外提供场景变换矩阵与点云数据，增强了其在三维视觉任务中的适用性。其多场景配置与高样本多样性，有效促进了模型在未知物体与复杂环境中的泛化能力。

使用方法

该数据集适用于实例分割、6D姿态估计及点云分割等多类计算机视觉任务。在未知物体分割研究中，可结合合成数据（如NVIDIA FAT数据集）进行预训练，再以DoPose-6D进行微调，以提升模型在真实场景中的鲁棒性。数据集的BOP格式兼容性便于集成至现有评估流程，其附带的ROS驱动与预训练模型支持工业抓取应用的快速部署，实现从分割到吸力抓取计算的端到端管道。

背景与挑战

背景概述

在机器人视觉与智能抓取领域，场景理解是实现自主操作的核心挑战，其中物体分割与六维姿态估计是关键研究方向。DoPose-6D数据集由德国多特蒙德工业大学的Anas Gouda、Abraham Ghanem与Christopher Reining等研究人员于近年创建，旨在解决真实场景下数据稀缺的问题，特别是针对箱内拣选这一高度复杂且遮挡严重的工业应用场景。该数据集包含301个独特场景与3325幅多视角图像，涵盖桌面与箱内两种环境，并提供了六维姿态、实例分割及点云等多模态标注。其核心研究问题聚焦于未知物体的类别无关分割，以推动机器人抓取系统的全自动化，填补了现有真实数据集中箱内场景样本不足的空白，对提升模型在真实环境中的泛化能力具有重要影响力。

当前挑战

DoPose-6D数据集致力于解决机器人抓取中未知物体分割与六维姿态估计的挑战，其核心问题在于高度遮挡与密集堆叠场景下的精确感知。构建过程中面临多重困难：一是真实数据采集与标注的复杂性，需通过半自动化流程结合手动六维姿态标注与多视角投影，耗时且易受传感器误差影响；二是数据多样性与泛化能力的平衡，需涵盖足够多的场景与物体变化以避免模型过拟合；三是与合成数据间的仿真与现实差距，要求数据集能有效用于模型微调以提升在真实工业环境中的可靠性。这些挑战使得数据集的构建成为一项资源密集且技术要求高的任务。

常用场景

经典使用场景

在机器人视觉与智能抓取领域，DoPose-6D数据集以其专注于箱拣场景的独特设计，成为训练和评估未知物体分割模型的经典资源。该数据集通过提供大量真实环境下的高动态范围图像，覆盖了高度遮挡与紧密堆叠的物体配置，使得研究人员能够在此复杂场景下验证分割算法的鲁棒性。其多视角标注与标准化的BOP格式进一步支持了6D姿态估计与实例分割任务的联合研究，为推进机器人自主抓取技术的实际部署奠定了数据基础。

实际应用

在工业自动化与仓储物流领域，DoPose-6D数据集直接应用于提升智能机器人抓取系统的实际性能。基于该数据集训练的Mask R-CNN模型，能够为自动化箱拣单元提供高精度的物体分割结果，并计算出可靠的吸盘抓取位姿。系统通过关联分割掩码的置信度与物体遮挡程度，可优先选择易于抓取的目标，从而在AutoStore等仓储系统中实现高效、可靠的自主分拣操作。该数据集的ROS驱动包进一步促进了算法在工业机器人平台上的快速集成与部署。

衍生相关工作

DoPose-6D数据集的发布催生了一系列围绕未知物体分割与机器人抓取的衍生研究。以该数据集为验证基准，研究者对比了如UCN、UOIS-Net-3D等先进分割方法，并探索了结合RICE等后处理技术以优化分割边界与处理过度分割问题。相关工作进一步拓展了多模态数据融合、跨场景泛化以及实时抓取规划等方向，推动了领域内从纯合成数据训练向真实数据微调范式的转变，为后续如多物体交互、动态场景理解等更复杂任务提供了数据支撑与方法借鉴。