ROBI (Reflective Objects in BIns) dataset

ROBI数据集是由多伦多大学航空航天研究所和机器人研究所创建的，专注于机器人拣选场景中反射性物体的6D姿态估计和多视角深度融合。数据集包含63个拣选场景，使用高成本的Ensenso传感器和低成本的RealSense传感器捕捉，总计约8000张图像。数据集创建过程中，通过在物体上喷涂反反射扫描喷雾来获取高质量的地面实况深度图。ROBI数据集旨在解决工业环境中由于反射性物体导致的深度数据质量下降和场景严重混乱的问题，为机器人感知技术提供挑战性的基准数据。The ROBI dataset was created by the Aerospace Institute and the Robotics Institute at the University of Toronto, focusing on 6D pose estimation and multi-view depth fusion for reflective objects in robotic bin-picking scenarios. The dataset consists of 63 bin-picking scenarios, captured using both high-cost Ensenso sensors and low-cost RealSense sensors, with a total of approximately 8,000 images. During the dataset construction process, high-quality ground-truth depth maps were obtained by spraying anti-reflective scanning spray onto the objects. The ROBI dataset aims to address the issues of degraded depth data quality and severe scene clutter caused by reflective objects in industrial environments, providing challenging benchmark data for robotic perception technologies.

搜集汇总

数据集介绍

构建方式

在机器人拣选领域，高反射性物体的感知一直是一项技术挑战。ROBI数据集的构建采用了系统化的多视角采集策略，利用EPSON C4L六轴机械臂搭载高成本的Ensenso N35与低成本的RealSense D415两款主动立体相机，围绕七个具有不同反射特性的工业零件，在满箱与低箱两种场景下进行数据采集。通过预先设计的视球采样方案，机械臂在45°至90°仰角范围内移动相机，获取单色/RGB图像及深度图。为确保数据精度，团队实施了手眼标定与基于标定球的迭代最近点算法进行位姿优化，并通过喷涂抗反射扫描喷雾的方式，使用Ensenso相机捕获高质量的真实深度图作为基准数据。

特点

ROBI数据集的核心特点在于其专注于高反射性纹理缺失物体的多模态数据呈现。该数据集涵盖七种常见工业零件，具有不同的几何对称性与表面材质，模拟了真实拣选场景中的复杂堆叠与遮挡情况。数据采集同时包含高成本与低成本传感器输出，使得研究者能够对比分析不同深度数据质量对感知任务的影响。此外，数据集提供了精确的6D物体位姿标注及可见性评分，并创新性地通过抗反射喷雾技术获取了真实深度图，填补了该领域基准数据的空白。

使用方法

该数据集适用于评估多种机器人感知任务，包括6D物体位姿估计、多视角深度融合、场景重建与深度补全等。研究者可利用提供的单色/RGB图像、原始深度图及真实深度图，测试不同算法在反射物体上的鲁棒性。数据集中包含的满箱与低箱场景、多视角采样及双传感器数据，支持对视角变化、遮挡程度及传感器性能的综合性分析。通过加载标注的物体CAD模型、场景模型及位姿真值，用户可进行定量评估，如使用平均模型点距离等指标衡量位姿估计精度，或通过点云距离、异常值比例等度量深度融合效果。

背景与挑战

背景概述

在机器人箱体拾取领域，高反射性物体的感知是实现自动化抓取的关键技术难题。ROBI数据集由多伦多大学航空航天研究所与爱普生加拿大公司于2021年联合创建，旨在为6D物体姿态估计与多视角深度融合提供基准数据。该数据集聚焦于解决工业环境中纹理缺失、高度反光金属零件在杂乱箱体场景下的精准识别与定位问题，通过集成高成本Ensenso与低成本RealSense两种主动立体相机，采集了涵盖7种工业零件、63个箱体场景的近8000幅图像，并创新性地采用抗反射扫描喷雾技术获取真实深度图，显著推动了机器人视觉在复杂反射环境下的研究进展。

当前挑战

ROBI数据集所针对的领域挑战在于高度反光物体在6D姿态估计与深度感知中的固有困难，其镜面反射会导致RGB图像中出现伪边缘，并使得深度测量数据严重缺失或失真，尤其在杂乱遮挡的箱体场景中更为突出。构建过程中的挑战包括：为获取高质量真实深度图，需设计抗反射涂层喷涂与机器人高重复性扫描相结合的复杂采集流程；同时，在多视角数据采集中，需精确校准双传感器位姿并处理因物体几何对称性、表面材质差异带来的标注一致性难题，确保姿态标注与可见性评分的准确性。

常用场景

经典使用场景

在机器人视觉引导的工业分拣领域，ROBI数据集为高度反光物体的六维姿态估计与多视角深度融合提供了标准化的评估基准。该数据集通过模拟真实工业场景中的杂乱堆叠与严重遮挡条件，为研究者提供了包含高成本Ensenso与低成本RealSense传感器采集的多视角RGB-D数据，使得算法能够在复杂光照与反射干扰下进行鲁棒性验证。其经典应用场景聚焦于纹理缺失金属零件的精准定位，为自动化抓取系统的视觉感知模块开发奠定了数据基础。

解决学术问题

ROBI数据集有效应对了反光物体在视觉感知中的核心挑战，包括深度数据缺失、虚假边缘干扰以及对称几何带来的姿态歧义性。通过提供抗反射喷雾涂层获取的高精度地面真值深度图，该数据集使得多视角深度融合与六维姿态估计算法能够进行定量评估与性能优化。其意义在于填补了工业级反光物体数据集的空白，推动了基于不确定度建模的融合方法发展，并为传感器成本与性能权衡研究提供了实证依据。

衍生相关工作

基于ROBI数据集，研究者已衍生出多项经典工作，例如概率多视角深度融合方法通过显式建模深度不确定性显著提升了反光场景的重建完整性。在六维姿态估计方面，该数据集推动了点对特征（PPF）算法在反射干扰下的改进，以及基于自监督学习的姿态估计框架在纹理缺失物体上的适配。这些工作共同深化了对反射噪声建模、跨传感器泛化以及动态遮挡处理等关键问题的探索。