bop-benchmark/xyzibd

XYZ工业分拣数据集（XYZ-IBD）是一个用于工业分拣任务的数据集，包含了多种相机捕获的图像、3D对象模型以及相关的场景地面真实信息。数据集支持不同的相机类型，如Photoneo、Realsense和XYZ，并提供了用于模型评估和训练的图像数据。XYZ Industrial Bin-picking Dataset (XYZ-IBD) is a dataset for industrial bin-picking tasks, containing images captured by various cameras, 3D object models, and associated scene ground truth information. The dataset supports different camera types such as Photoneo, Realsense, and XYZ, and provides image data for model evaluation and training.

搜集汇总

数据集介绍

构建方式

XYZ工业料箱拣选数据集（XYZ-IBD）由bop-benchmark发布，遵循CC-BY-NC-SA-4.0许可协议。该数据集构建于真实工业场景，聚焦于料箱内杂乱堆叠物体的6D位姿估计任务。数据采集采用三种传感器协同工作：PhotonEO深度相机、Intel RealSense RGB-D相机及XYZ专用成像设备，提供多模态感知数据。数据集严格遵循BOP（Benchmark for 6D Object Pose Estimation）标准格式组织，包含基础相机参数档案、三维物体模型、验证集与测试集图像，以及通过物理渲染（PBR）技术生成的训练图像。所有数据以压缩包形式分发，用户可通过命令行下载并解压至统一目录结构。

特点

该数据集的核心特色在于其多传感器融合的标注体系。每个场景均同步记录来自PhotonEO、RealSense和XYZ三种设备的深度图、灰度图及RGB图像，并附带对应的物体掩码、可见性掩码和6D位姿真值。验证集目录结构清晰，按场景编号组织，每个场景内包含多视角的传感器数据文件夹及对应的相机参数、场景真值JSON文件。数据集提供面向不同年份BOP挑战赛的测试目标文件（bop19、bop24及多视角bop25），支持单帧与多视角评估协议。三维模型分为原始模型与评估用简化模型，兼顾精度与计算效率。

使用方法

使用该数据集时，首先通过wget命令依次下载基础包、模型包、验证集、测试集及PBR训练集的分卷压缩文件，并利用7z工具解压至名为'xyzibd'的顶层目录。数据加载可参考BOP工具包（bop_toolkit），该工具库提供了标准化的数据读取、位姿评估与可视化接口。验证集可直接用于算法调试，测试集需配合对应年份的目标文件进行评估。多传感器数据允许研究者探索跨模态融合策略，例如利用深度与RGB信息互补提升位姿估计鲁棒性。训练集包含PBR合成图像，可有效扩充真实数据稀缺场景下的模型泛化能力。

背景与挑战

背景概述

在工业自动化领域，机器人自主抓取与操作技术是提升生产效率的关键环节，其中六自由度物体姿态估计作为核心问题，长期受到学界与工业界的广泛关注。XYZ Industrial Bin-picking Dataset（XYZ-IBD）由国际知名研究团队于近年推出，旨在填补真实工业场景下高精度姿态估计数据集的空白。该数据集聚焦于杂乱堆叠的工业零件抓取任务，提供了多模态传感器数据（包括Photoneo、RealSense及XYZ深度相机）的同步采集信息，涵盖3D模型、训练与验证图像及多视角测试数据。其发布依托于BOP基准测试平台，为评估和推动基于学习的姿态估计方法在复杂工业环境中的鲁棒性提供了标准化框架，已成为该领域的重要参考基准。

当前挑战

该数据集所解决的领域挑战主要集中于工业散乱零件抓取中的姿态估计问题，具体包括：1）在高度遮挡与堆叠场景下，如何从单目或多视角深度图中准确恢复物体的六自由度位姿；2）面对金属零件表面反光、纹理缺失等视觉退化现象，算法需具备跨传感器泛化能力。构建过程中面临的挑战则体现在：1）多相机系统的联合标定与同步采集，需协调不同传感器（如Photoneo的结构光与Realsense的立体视觉）的异构数据流；2）真实工业环境中大规模标注的困难，包括对数十万张图像中每个实例的精确6D位姿进行人工校验，以及应对零件磨损、光照变化等动态干扰因素对标注一致性的影响。

常用场景

经典使用场景

在工业自动化与机器人视觉的交叉领域，XYZ Industrial Bin-picking Dataset（XYZ-IBD）以其对杂乱料箱场景的精细刻画，成为六自由度物体姿态估计与抓取研究的标杆性基准。该数据集源自真实工业环境，涵盖多传感器（Photoneo、RealSense、XYZ结构光相机）采集的深度图、灰度图与RGB图像，并提供了精确的三维模型与位姿标注。其经典使用场景聚焦于从堆叠、遮挡的随机工件中，稳健地推断出每个物体的六自由度位姿，为算法在光照变化、反射表面与密集遮挡等挑战性条件下的鲁棒性评估提供了标准化平台。研究者常利用其多模态数据与BOP格式的兼容性，训练和验证从端到端位姿回归网络到基于特征匹配的经典流水线，推动着机器人自主抓取从实验室走向工厂车间的进程。

实际应用

在智能制造与物流仓储的数字化转型浪潮中，XYZ-IBD为机器人随机料箱抓取（Random Bin Picking）这一长期困扰工业界的痛点提供了数据驱动的解决方案。实际应用中，基于该数据集训练的位姿估计模型可部署于协作机器人或工业机械臂的视觉引导系统，实现对无序堆叠的金属零件、铸造毛坯或电子元件的自主分拣与装配。例如，在汽车零部件生产线中，模型能够从料箱中识别并精确抓取不同型号的螺栓或齿轮，替代传统人工分拣，显著提升效率并降低疲劳出错率。此外，该数据集还支撑了电商仓储中不规则包裹的自动拆垛与码垛，以及食品加工行业中对混杂、易碎物品的柔性抓取，其多传感器设计使得系统能够灵活适配不同工业相机与光照环境，加速了从原型验证到产线部署的落地周期。

衍生相关工作

XYZ-IBD的发布催生了一系列具有里程碑意义的相关工作，深刻影响了位姿估计领域的研究范式。基于该数据集的挑战赛（如BOP Challenge）涌现出诸如GDR-Net、PoseCNN与DenseFusion等经典方法的改进变体，它们通过引入几何引导的渲染对比分支或对称性感知的损失函数，显著提升了在密集遮挡场景下的位姿回归精度。此外，该数据集促进了多模态融合策略的蓬勃发展，研究者利用其同步的深度与灰度图，提出了跨模态特征对齐网络，有效缓解了单一传感器在金属反光区域的数据缺失问题。在合成数据领域，XYZ-IBD的真实标注为评估物理渲染引擎（如BlenderProc）的域随机化效果提供了黄金标准，催生了如Self6D与Pix2Pose等利用自监督学习减少域差异的工作，这些衍生成果共同构筑了从数据驱动到机理建模的完整技术生态。