IRIS (Industrial Real-Sim Imagery Set)

IRIS是由梅赛德斯-奔驰AG与柏林工业大学联合开发的工业仿真-现实双向迁移基准数据集，包含32类具有复杂纹理和类内差异的工业对象。该数据集提供508张高分辨率RGB-D真实图像及8000张合成图像，涵盖CAD模型与3D重建资产，总标注量达20,000个。数据通过SynthRender框架生成，结合高斯泼溅与GenAI技术实现低开销3D资产创建。主要应用于工业环境下的物体检测、机器人抓取等场景，旨在解决工业视觉中真实数据获取成本高、3D模型缺失等核心挑战。IRIS is a benchmark dataset for industrial simulation-reality bidirectional transfer, jointly developed by Mercedes-Benz AG and the Technical University of Berlin. It includes 32 categories of industrial objects with complex textures and intra-class variations. This dataset provides 508 high-resolution RGB-D real-world images and 8000 synthetic images, covering CAD models and 3D reconstruction assets, with a total of 20,000 annotations. The data is generated via the SynthRender framework, which combines Gaussian Splatting and GenAI technologies to enable low-overhead 3D asset creation. It is mainly applied to scenarios including object detection and robotic grasping in industrial environments, aiming to address core challenges in industrial vision such as high acquisition costs of real-world data and the shortage of 3D models.

原始信息汇总

IRIS 数据集概述

数据集简介

IRIS 数据集是一个全面的真实世界数据集，旨在研究工业机器人环境中目标检测的模拟到真实迁移。该数据集包含完整的真实 IRIS 数据集、用于合成数据生成的资产、示例合成数据集以及预训练模型检查点。

核心内容

1. 完整的真实 IRIS 数据集：包含 508 张标注图像，涵盖 4 个不同且具有挑战性的工业场景中的 32 种机械部件。
2. 合成数据生成资产：包含运行配套合成数据生成流水线所需的所有 3D 模型、背景和材质。
3. 示例合成数据集：两个完全标注的合成训练集（各 4000 张图像），展示了不同的数据生成策略。
4. 预训练模型检查点：在提供的合成数据集上训练的 YOLO11m 模型，作为模拟到真实迁移实验的基线。

数据集统计

• 总数据量：508 张图像，32 个类别。
• 按实例数量分布：
  • 96 张单物体图像。
  • 210 张单实例图像。
  • 202 张双实例图像。
• 场景细分：

  场景类型	数量	图像范围
  受控光照（房间）	101	000–100
  窗户阳光	67	101–167
  背景多样性	100	168–267
  工业机器人场景	240	268–507

关键文件夹描述

Assets

包含用于合成数据生成和运行流水线的资源。

• CADs：所有 32 个零件的 3D 模型，通过四种方法生成：Manual（专家建模）、3DGS（3D 高斯溅射）、MeshyAI（纹理生成）和 TRELLIS（GenAI 3D 资产）。
• General：用于场景合成的背景、干扰物和平面材质。
• 3D_GenAI_Masked_Imgs：带有分割掩码的真实物体图像，用于 GenAI 工具。

Real_Test_Set

使用 Zivid 2 Plus MR60 工业 RGB-D 相机捕获。

• annotations/：COCO 和 YOLO 边界框标注。
• images/：RGB 图像和深度数据。 真实测试集以两种互补格式提供：用于跨所有 508 张图像进行全面基准测试的完整评估集，以及按 4 个不同工业场景组织的按场景组织的数据。

Synthetic_Train_Sets

两个性能最佳的配置合成数据集的图像和边界框标注（各 4000 张图像）：

• 4k_Material_Randomized：具有材质随机化的手动建模 CAD。
• 4K_Physics_Intrinsics_RGB_Exp：手动建模的 CAD 和纹理。

Checkpoints

两个性能最佳的合成数据集的预训练 YOLO11m 模型：

• yolo11m_Material_Randomized.pt：在 4k_Material_Randomized 数据集上训练。
• yolo11m_Physics_Intrinsics_RGB_Exp.pt：在 4K_Physics_Intrinsics_RGB_Exp 数据集上训练。

物体类别

前缀含义

前缀	含义
C	自定义建模
GF	Global Fastener
MM	McMaster
F	Fath24

后缀含义

后缀	含义
S	小
M	中
L	大

类别列表

家族/来源	物体/类别名称
Custom-Modeled	C_O_Ring_L, C_O_Ring_M, C_O_Ring_S, C_Plastic_Washer_L, C_Plastic_Washer_S, C_Steel_Ball_L, C_Steel_Ball_S, C_Washer_M5, C_Washer_M6
FATH GmbH	F_Roll-in_Nut_M5
Festo SE & Co. KG	FestoI, FestoT, Festo_Torch, FestoV, FestoX, FestoY
GlobalFastener Inc.	GF_Collar_L, GF_Collar_S, GF_Slotted_Pin_L, GF_Slotted_Pin_S, GF_Split_Pin_L, GF_Split_Pin_S, GF_Cone_Screw_M8, GF_Hexagon_Nut, GF_Knurled_Screw_M8, GF_Plain_Screw_M8, GF_Screw_M5
McMaster-Carr Supply Co.	MM_Silencer_L, MM_Silencer_S, MM_Spring, MM_Wing, MM_Wood_Screw

引用与许可

• 引用：如果在研究中使用此数据集，请引用相关论文。
• 许可：详见 LICENSE.txt 文件中的条款和条件。

搜集汇总

数据集介绍

构建方式

在工业视觉感知领域，获取大规模标注数据常面临高昂成本与时间消耗。IRIS数据集的构建采用了双向仿真-现实迁移的创新框架，其核心在于结合多种低开销的三维资产生成技术。当目标对象的计算机辅助设计模型可用时，直接利用其几何信息；若缺乏三维文件，则通过三维高斯泼溅、生成式人工智能等方法，从二维图像中重建三维模型。随后，依托SynthRender这一基于BlenderProc的开源合成框架，通过领域随机化或引导式领域随机化策略，在物理模拟的支持下随机化光照、相机位姿、背景及物体布局，生成包含高真实感变异性的合成图像。最终，数据集整合了508张真实采集的高分辨率RGB-D图像与约8000张合成图像，共计涵盖约20,000个标注，形成了涵盖真实与合成数据的系统性评测基准。

特点

IRIS数据集专为半非受控工业环境下的仿真-现实迁移研究设计，其突出特点体现在多维度挑战性与高度真实性。数据集包含32类机械与气动元件，这些类别在材质与几何形态上存在显著的类间相似性，同时类内因生产痕迹或使用磨损而呈现变异，极大增加了分类与检测的难度。环境条件模拟了工业场景的复杂性，引入了直射阳光、多变背景及多样化的相机-物体位姿。数据集不仅提供了理想的三维计算机辅助设计模型，还系统集成了通过三维高斯泼溅、TRELLIS及MeshyAI等多种方法重建的三维资产及其对应纹理，实现了从完美数字孪生到基于现实重建的资产谱系覆盖，为双向仿真-现实迁移算法的系统评估提供了独特且丰富的实验素材。

使用方法

该数据集主要用于工业目标检测模型的训练与仿真-现实迁移性能的系统性评测。研究者可利用其提供的真实图像与合成图像组合，进行纯合成训练、少样本微调或域适应方法的验证。在训练阶段，可加载数据集中包含边界框、实例分割掩码及深度信息的标注文件，配合现代检测架构如YOLOv8、YOLOv11或DEIM进行模型训练。对于仿真-现实迁移研究，可分别使用基于计算机辅助设计的合成数据、基于重建资产的合成数据以及真实数据，通过交叉评估量化不同资产生成方法与随机化策略对模型泛化能力的影响。数据集的标准化格式兼容COCO与YOLO等主流框架，便于集成至现有训练流程，而其提供的多维度变体支持对光照、纹理、物理模拟等关键因素的消融研究，以指导高效合成数据生成策略的设计。

背景与挑战

背景概述

工业视觉感知作为实现机器人自主操作与质量检测的核心技术，其性能高度依赖于大规模标注数据集的支持。然而，在工业场景中，获取和标注专有零件的真实图像数据成本高昂，成为技术广泛部署的主要障碍。为此，由柏林工业大学、梅赛德斯-奔驰等机构的研究人员于2024年共同提出了IRIS（Industrial Real-Sim Imagery Set）数据集。该数据集聚焦于半非受控工业环境下的物体检测问题，旨在通过合成数据生成与真实数据标注相结合的方式，推动仿真到现实（sim-to-real）的双向迁移研究。IRIS涵盖了32类具有丰富纹理、类内差异和类间相似性的工业零件，包含约20,000个标注，为领域提供了系统性的评估基准，显著促进了工业感知模型的数据高效训练与泛化能力研究。

当前挑战

IRIS数据集致力于解决工业物体检测在复杂环境下的泛化难题，其核心挑战在于如何有效缩小合成数据与真实场景之间的域差距。具体而言，在领域问题层面，数据集需应对工业零件存在的强类间相似性、类内变异以及多变光照、遮挡等半非受控条件，这对模型的判别能力提出了严峻考验。在构建过程中，挑战主要体现为低成本高质量3D资产的获取与生成。当计算机辅助设计文件缺失时，需借助三维高斯泼溅、生成式人工智能等方法从二维图像重建三维模型，此过程需平衡几何精度与纹理真实性。此外，通过引导域随机化技术生成具有物理合理性的合成数据时，如何有效配置光照、材质、相机参数等随机化策略以覆盖真实数据分布，亦是构建过程中的关键难点。

常用场景

经典使用场景

在工业视觉感知领域，IRIS数据集常被用于评估和验证合成数据到真实场景的迁移性能。该数据集通过提供32类工业零部件的真实与合成图像对，为研究者构建了一个半非受控环境下的标准测试平台。经典使用场景涉及利用SynthRender框架生成的多样化合成数据训练目标检测模型，随后在IRIS的真实测试集上进行性能验证，以此系统性地分析模拟与真实域之间的差距。这种双向评估机制不仅能够量化合成数据的有效性，还为优化域随机化与域适应策略提供了实证基础。

解决学术问题

IRIS数据集主要致力于解决工业视觉中合成数据训练与真实场景应用之间的域适应难题。通过提供包含CAD模型与重建资产的双向数据，它使得研究者能够深入探究低开销三维资产生成技术（如3D高斯泼溅与生成式AI）在缩小模拟-现实差距方面的潜力。该数据集的意义在于为数据驱动的工业感知研究建立了可复现的基准，显著降低了因专有部件数据稀缺而带来的部署壁垒，并推动了基于物理渲染与程序化变异的合成数据生成范式的演进。

衍生相关工作

围绕IRIS数据集，已衍生出一系列专注于工业视觉域适应与合成数据生成的研究工作。例如，基于SynthRender框架的引导域随机化方法被进一步优化，以融合物理模拟与光谱随机化来提升模型泛化能力。同时，该数据集促进了低开销三维重建技术（如3D高斯泼溅与TRELLIS生成模型）在工业场景中的基准测试与比较研究。这些衍生工作共同推动了双向模拟-现实迁移理论的发展，并为制造领域的视觉感知系统提供了可扩展的技术路径。