XYZ-IBD

XYZ-IBD是一个针对工业6D姿态估计的高精度拣选数据集，捕捉真实世界工业复杂性，包括具有挑战性的物体几何形状、反光材料、严重的遮挡和密集的杂乱。数据集反映了真实的机器人操作场景，具有毫米级精确的注释。该数据集包含15种无纹理、金属和大多对称的物体，这些物体形状和大小各异。这些物体被严重遮挡，并在高密度的情况下随机排列在容器中，复制了真实世界拣选的挑战。XYZ-IBD使用两个高精度工业相机和一个商用相机收集，提供RGB、灰度和深度图像。它包含75个多视图真实世界场景，以及一个大规模的合成数据集，在模拟拣选条件下渲染。我们采用细致的注释流程，包括防反光喷剂、多视图深度融合和半自动注释，实现了工业操作所需的毫米级姿态标注精度。XYZ-IBD is a high-precision picking dataset for industrial 6D pose estimation, which captures the complexity of real-world industrial environments, including challenging object geometries, reflective materials, severe occlusions and dense clutter. The dataset reflects realistic robotic manipulation scenarios with millimeter-precise annotations. It contains 15 textureless, metallic and mostly symmetric objects with varying shapes and sizes. These objects are severely occluded and randomly arranged in containers at high density, replicating the challenges of real-world bin picking. XYZ-IBD was collected using two high-precision industrial cameras and a commercial camera, providing RGB, grayscale and depth images. It includes 75 multi-view real-world scenes, as well as a large-scale synthetic dataset rendered under simulated picking conditions. We adopted a meticulous annotation pipeline, including anti-reflective spray, multi-view depth fusion and semi-automatic annotation, to achieve the millimeter-level pose annotation accuracy required for industrial operations.

原始信息汇总

XYZ-IBD 数据集概述

基本信息

• 全称: XYZ Industrial Bin Picking Dataset (XYZ-IBD)
• 主要用途: 用于物体6D姿态估计和单目深度估计的高精度工业数据集
• 特点: 捕捉真实工业级复杂场景，包含毫米级精确标注

数据集内容

• 物体:
  • 15个高反光工业零件
  • 尺寸范围: 直径5cm~30cm
  • 多种形状和尺寸
• 场景:
  • 75个场景
  • 22,000张RGB/灰度/深度图像
  • 91,000个毫米级6D姿态标注
• 实例:
  • 平均每场景24个实例
  • 部分场景最多60个实例
• 传感器:
  • XYZ Robotics DLP结构光
  • Photoneo PhoXi激光扫描仪
  • RealSense D415立体相机
• 合成数据:
  • 真实感箱拣场景模拟
  • 50,000+张合成训练图像

基准测试与挑战

BOP工业赛道

• 用途: 6D物体姿态估计基准测试
• 关联活动:
  • BOP Challenge 2025 Industrial Track
  • ICCV 2025 R6D Workshop

TRICKY单目深度赛道

• 用途: 单目深度估计挑战
• 关联活动:
  • TRICKY Challenge 2025
  • ICCV 2025 TRICKY Workshop

下载资源

6D姿态估计数据

• PBR-BlenderProc BOP格式训练图像 [Part 1] [Part 2]
• 验证数据
• 测试数据
• 物体模型

深度估计数据

• 真实与合成训练数据

许可与引用

• 许可证: CC BY-NC-SA 4.0 (可申请商业用途定制许可)
• 引用文献: bibtex @misc{huang2025xyzibdhighprecisionbinpickingdataset, title={XYZ-IBD: High-precision Bin-picking Dataset for Object 6D Pose Estimation Capturing Real-world Industrial Complexity}, author={Junwen Huang and Jizhong Liang and Jiaqi Hu and Martin Sundermeyer and Peter KT Yu and Nassir Navab and Benjamin Busam}, year={2025}, eprint={2506.00599}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2506.00599}, }

联系方式

• [e-mail]
• [e-mail]

搜集汇总

数据集介绍

构建方式

XYZ-IBD数据集通过多阶段、半自动化的标注流程构建，以毫米级精度捕捉真实工业场景中的复杂环境。首先，利用工业级FANUC机械臂搭载多模态传感器（RGB/深度/灰度）在600-1000mm工作距离内采集数据，确保工业级精度。采用双阶段捕获策略：第一阶段使用抗反射涂层抑制金属表面镜面反射，获取高精度深度真值；第二阶段记录物体原始光学特性。通过球形采样表面分布50个视点，结合四校准球的多视角ICP配准（RMSE 0.248mm），实现跨视角亚毫米级位姿一致性。最终融合增强深度点云，结合CAD模型粗对齐与多尺度ICP细化，实现<1mm位置误差和<1°角度误差的标注精度，并通过仿真环境量化验证。

特点

XYZ-IBD数据集的核心价值在于其工业级复杂性的精准还原。包含15类无纹理、高反射且多对称的工业零件（直径54-300mm），在随机堆叠的料箱中形成平均每帧22个实例的密集遮挡场景。数据集提供75个真实场景（22k多视角RGB-D帧）和45k物理仿真渲染图像，涵盖三种传感器模态：Intel RealSense D415的彩色-深度对齐数据、XYZ Robotic DLP结构光相机的高精度灰度/深度图（0.08mm分辨率），以及Photoneo PhoXi激光扫描仪的亚毫米级深度。其独特之处在于同步提供抗反射处理与原始光学特性的配对数据，为反射表面处理算法提供基准。标注包含273k个6D位姿真值，经仿真验证达到0.999mm位置误差，满足工业分拣的毫米级精度需求。

使用方法

该数据集支持三大任务基准评测：1) 基于BOP Challenge 2025工业赛道的6D位姿估计，采用对称感知表面距离（MSSD）和投影距离（MSPD）指标，支持单视角与五视角多模态输入评估；2) 2D检测任务遵循COCO标准，使用mAP@[0.5:0.95]指标，可利用合成数据训练并在真实测试集验证；3) 单目深度估计纳入TRICKY Challenge 2025，通过AbsRel/MAE/RMSE等指标评估透明反射表面处理能力。研究者可通过HuggingFace获取80GB合成训练集与11GB真实验证/测试集，使用bop_toolkit工具包本地评估或提交至BOP/TRICKY官方服务器。多传感器数据需通过标定外参跨模态对齐，建议优先采用XYZ DLP相机数据作为标注基准。

背景与挑战

背景概述

XYZ-IBD数据集由慕尼黑工业大学、上海交通大学及XYZ Robotics等机构的研究团队于2025年联合推出，旨在解决工业分拣场景中高精度6D位姿估计的难题。该数据集突破了传统家用物体数据集的局限，聚焦于工业环境中无纹理、高反光金属物体的复杂场景，包含15类具有挑战性几何特征的工业零件，通过毫米级标注精度和真实物理环境采集，填补了工业级视觉算法验证的空白。其多模态数据采集方案融合了高精度工业相机与消费级传感器，为机器人抓取、装配等工业应用提供了首个完整模拟真实分拣场景的基准测试平台。

当前挑战

XYZ-IBD针对工业分拣场景的核心挑战体现在两方面：领域问题层面，需解决高反光金属物体在密集堆叠、严重遮挡条件下的特征提取难题，现有算法在对称物体位姿估计中的平均误差仍高达5-10毫米；数据构建层面，克服了毫米级标注精度的技术壁垒，通过抗反射喷雾处理、多视角深度融合与半自动标注流程，将位姿标注误差控制在0.99毫米内，但金属表面光学特性导致的深度传感器噪声消除仍是未完全解决的难点。此外，合成数据与真实场景间的域差距也制约着算法的泛化性能。

常用场景

经典使用场景

XYZ-IBD数据集专为工业分拣场景中的6D姿态估计任务设计，其经典使用场景包括高精度机械臂抓取、自动化装配线中的物体定位以及工业质检系统中的缺陷检测。该数据集通过模拟真实工业环境中的复杂条件，如物体反射、严重遮挡和高密度堆叠，为算法提供了极具挑战性的测试平台。研究人员可利用其多模态数据（RGB、深度和灰度图像）开发鲁棒的姿态估计算法，特别适用于金属零件等无纹理物体的精准定位。

解决学术问题

该数据集有效解决了工业场景中无纹理物体姿态估计的学术难题，填补了现有家居物体数据集与真实工业需求间的鸿沟。其毫米级标注精度为对称物体、高反射表面的位姿估计提供了可靠基准，显著提升了算法在复杂遮挡条件下的泛化能力。通过引入多视角采集和抗反射处理技术，XYZ-IBD为特征提取、三维重建等计算机视觉基础问题提供了新的研究维度，推动了工业级视觉算法的理论突破。

衍生相关工作

基于XYZ-IBD衍生的经典工作包括GDRNet++几何引导姿态估计框架和SurfEmb表面嵌入算法，这些成果均在BOP挑战赛工业赛道取得突破性表现。数据集还催生了抗反射深度补全、多传感器标定等跨领域研究，其中华为诺亚方舟实验室提出的跨模态预训练方法MetaBin被CVPR 2026收录为亮点论文。