Self-ROBI

Self-ROBI数据集是由新加坡国立大学机械工程系提出的一个用于反射对象位姿估计自训练的机器人抓取数据集。该数据集通过结合高分辨率相机捕获的重建数据和低成本相机捕获的实时数据，使用多对象位姿推理算法进行优化，生成用于自训练的伪标签。数据集旨在解决低成本相机在抓取反射对象时遇到的挑战，如稀疏深度信息和变化的反射纹理。

The Self-ROBI dataset is a robotic grasping dataset for self-training in reflective object pose estimation, proposed by the Department of Mechanical Engineering at the National University of Singapore. This dataset combines reconstructed data captured by high-resolution cameras and real-time data captured by low-cost cameras, uses multi-object pose inference algorithms for optimization, and generates pseudo-labels for self-training. The dataset aims to address the challenges faced when using low-cost cameras to grasp reflective objects, such as sparse depth information and varying reflective textures.

搜集汇总

数据集介绍

构建方式

Self-ROBI数据集的构建采用了一种创新的两阶段框架，结合了度量学习和自训练技术。在度量学习阶段，研究者利用高性能相机或QR码重建场景，并通过多物体姿态推理（MoPR）算法优化数据，该算法融合了深度、碰撞和边界约束。自训练阶段则直接利用低成本相机（LC）捕获的数据进行训练，无需人工标注。通过对称感知的Lie群贝叶斯高斯混合模型（SaL-BGMM）和加权排序信息噪声对比估计（WR-InfoNCE）算法，确保了数据的高质量和鲁棒性。

使用方法

Self-ROBI数据集的使用方法灵活且高效。在自训练阶段，用户可以直接利用低成本相机捕获的数据，通过滑动窗口生成裁剪图像，并利用学习到的度量对候选位姿进行评估和投票。数据集的伪标签生成过程完全自动化，适用于未训练甚至未见过的物体。此外，数据集还支持机器人抓取任务的测试，通过Franka机器人平台验证了其在实际应用中的性能。数据集的开放性和模块化设计使其易于集成到现有的计算机视觉和机器人研究流程中。

背景与挑战

背景概述

Self-ROBI数据集由新加坡国立大学机械工程系的Peiyuan Ni、Chee Meng Chew、Marcelo H. Ang Jr.和Gregory S. Chirikjian等研究人员于2025年提出，旨在解决低成本相机在金属物体分拣任务中因稀疏深度信息和反光表面纹理导致的姿态估计难题。该数据集包含23种不同类型的反射物体，共计600个场景，用于支持基于度量学习和自训练的两阶段框架研究。Self-ROBI通过引入对称感知的李群贝叶斯高斯混合模型（SaL-BGMM）和加权排序信息噪声对比估计（WR-InfoNCE）算法，显著提升了反射物体姿态估计的精度和鲁棒性，为工业分拣和机器人抓取领域提供了重要的基准数据。

当前挑战

Self-ROBI数据集面临的挑战主要体现在两个方面：首先，在领域问题层面，反射物体的姿态估计受限于低成本相机采集的稀疏深度数据和动态反光纹理，传统方法难以处理多物体遮挡和对称性歧义问题；其次，在构建过程中，数据采集需协调高精度重建设备与低成本相机的标定，且人工标注反射物体的真实姿态存在极大困难。此外，度量学习阶段需设计非欧空间下的对比损失函数，而自训练阶段要求算法对未见过物体具有泛化能力，这些挑战均通过多目标姿态推理框架和新型噪声对比估计算法得到针对性解决。

常用场景

经典使用场景

Self-ROBI数据集在机器人视觉领域具有重要应用价值，尤其在工业分拣任务中表现出色。该数据集专为反射性物体的姿态估计而设计，通过低成本RGB-D相机捕获数据，解决了传统方法在反射物体处理上的局限性。其经典使用场景包括工业自动化中的金属零件分拣，以及家庭环境中的反射物体识别与抓取。数据集通过多视角重建和伪标签生成，为自训练算法提供了丰富的样本支持。

解决学术问题

Self-ROBI数据集有效解决了反射物体姿态估计中的多个关键学术问题。首先，它通过对称感知的Lie群贝叶斯高斯混合模型(SaL-BGMM)处理了非欧几里得空间中的姿态聚类难题。其次，提出的加权排序信息噪声对比估计(WR-InfoNCE)算法解决了反射物体在低质量深度数据下的度量学习问题。这些创新显著提升了在稀疏深度信息和可变反射纹理条件下的姿态估计精度，为相关研究提供了可靠的基准平台。

实际应用

在实际应用层面，Self-ROBI数据集已成功部署于工业机器人分拣系统。其采集的金属零件数据可直接用于训练分拣算法，显著降低了传统方法对高成本设备和人工标注的依赖。数据集包含的家用和工业物体样本，使其在智能仓储、自动化生产线等场景展现出实用价值。特别值得注意的是，该数据集支持对未训练甚至未见物体的自训练，极大提升了系统在真实场景中的适应能力。

数据集最近研究

最新研究方向

在低成本的RGB-D相机环境下，针对反射性物体的自训练框架研究成为当前机器人抓取领域的前沿热点。Self-ROBI数据集的提出为这一领域注入了新的活力，其核心创新在于通过多物体姿态推理（MoPR）算法和对称感知的Lie群贝叶斯高斯混合模型（SaL-BGMM），有效解决了传统方法在处理反射性物体时的深度信息稀疏和纹理变化问题。该数据集不仅包含了23种不同类型的物体，还特别设计了用于度量学习、自训练和测试的三个子集，为研究者提供了一个全面的实验平台。随着工业4.0和智能制造的快速发展，反射性物体的自动化分拣需求日益增长，Self-ROBI数据集的发布恰逢其时，为开发更高效、更鲁棒的机器人抓取算法提供了重要支持，同时也为零样本学习在机器人操作中的应用开辟了新的可能性。

相关研究论文

• Reasoning and Learning a Perceptual Metric for Self-Training of Reflective Objects in Bin-Picking with a Low-cost Camera

  新加坡国立大学机械工程系 · 2025年