IRIS

IRIS数据集是一个全面的真实世界数据集，旨在研究工业机器人环境中的物体检测的模拟到真实转移。该数据集包含508张标注图像，涵盖32种机械部件，分布在四种不同的工业场景中。此外，数据集还提供了用于合成数据生成的3D模型、背景和材料，以及两个示例合成训练集（每个4000张图像）和预训练的YOLO11m模型。数据集的目标是为工业机器人中的模拟到真实方法提供一个完整、可复现的基准。

原始信息汇总

IRIS 数据集概述

数据集简介

IRIS 数据集是一个全面的真实世界数据集，旨在研究工业机器人环境中用于目标检测的仿真到真实迁移。该数据集提供完整的真实IRIS数据集、用于合成数据生成的资产、示例合成数据集以及预训练模型检查点。

核心内容

1. 完整的真实IRIS数据集：包含508张标注图像，涵盖32种机械部件，在四个不同且具有挑战性的工业场景中捕获。
2. 合成数据生成资产：包含运行配套合成数据生成流水线所需的所有3D模型、背景和材质。
3. 示例合成数据集：两个完全标注的合成训练集（各4000张图像），使用我们的流水线生成，展示了不同的数据生成策略。
4. 预训练模型检查点：在提供的合成数据集上训练的YOLO11m模型，作为仿真到真实迁移实验的基准。

数据集统计

• 总数据量：508张图像，32个类别。
• 按实例数量分布：
  • 96张单物体图像。
  • 210张单实例图像。
  • 202张双实例图像。
• 场景细分：

  场景类型	数量	图像范围
  受控光照（房间）	101	000–100
  窗户阳光	67	101–167
  背景多样性	100	168–267
  工业机器人场景	240	268–507

关键文件夹描述

Assets

包含用于合成数据生成和运行流水线的资源。

• CADs：所有32个部件的3D模型，通过四种方法生成：Manual（专家建模）、3DGS（3D高斯溅射）、MeshyAI（纹理生成）和TRELLIS（GenAI 3D资产）。
• General：用于场景合成的背景、干扰物和平面材质。
• 3D_GenAI_Masked_Imgs：带有分割掩码的真实物体图像，用于GenAI工具。

Real_Test_Set

使用Zivid 2 Plus MR60工业RGB-D相机捕获。

• annotations/：COCO和YOLO边界框标注。
• images/：RGB图像和深度数据。
• 真实测试集以两种互补格式提供：用于跨所有508张图像进行全面基准测试的完整评估集，以及按4个不同工业场景（受控光照、窗户阳光、背景多样性、机器人安装视图）组织的按场景组织的数据。

Synthetic_Train_Sets

两个表现最佳配置的合成数据集（各4000张图像）的图像和边界框标注：

• 4k_Material_Randomized：具有材质随机化的手动建模CAD。
• 4K_Physics_Intrinsics_RGB_Exp：手动建模的CAD和纹理。

Checkpoints

我们两个表现最佳的合成数据集的预训练YOLO11m模型：

• yolo11m_Material_Randomized.pt：在4k_Material_Randomized数据集上训练。
• yolo11m_Physics_Intrinsics_RGB_Exp.pt：在4K_Physics_Intrinsics_RGB_Exp数据集上训练。

对象类别

前缀含义

前缀	含义
C	自定义建模
GF	Global Fastener
MM	McMaster
F	Fath24

后缀含义

后缀	含义
S	小
M	中
L	大

类别列表

家族/来源	对象/类别名称
Custom-Modeled	C_O_Ring_L, C_O_Ring_M, C_O_Ring_S
	C_Plastic_Washer_L, C_Plastic_Washer_S
	C_Steel_Ball_L, C_Steel_Ball_S
	C_Washer_M5
	C_Washer_M6
Fath24	F_Roll-in_Nut_M5
Festo	FestoI
	FestoT
	Festo_Torch
	FestoV
	FestoX
	FestoY
Global Fastener	GF_Collar_L, GF_Collar_S
	GF_Slotted_Pin_L, GF_Slotted_Pin_S
	GF_Split_Pin_L, GF_Split_Pin_S
	GF_Cone_Screw_M8
	GF_Hexagon_Nut
	GF_Knurled_Screw_M8
	GF_Plain_Screw_M8
	GF_Screw_M5
McMaster	MM_Silencer_L, MM_Silencer_S
	MM_Spring
	MM_Wing
	MM_Wood_Screw

相关资源

• 配套论文和开源合成数据生成代码 SynthRender。
• 许可证信息见 LICENSE.txt 文件。

搜集汇总

数据集介绍

构建方式

在工业机器人视觉研究领域，IRIS数据集的构建体现了从仿真到现实迁移学习的系统性设计。其核心包含一个由508张真实图像构成的测试集，涵盖32类机械零件，并利用Zivid 2 Plus MR60工业RGB-D相机在四种典型工业场景下采集，确保了环境多样性与真实性。同时，数据集提供了完整的合成数据生成资产，包括通过手工建模、3D高斯溅射及生成式人工智能等多种技术创建的精细三维模型、背景与材质资源，支持研究者基于SynthRender管线生成大规模、高质量的合成训练集，从而构建起一个涵盖真实与合成数据的双向基准平台。

使用方法

研究者可通过数据集提供的结构化目录灵活使用IRIS。对于仿真到现实迁移实验，可首先利用`Synthetic_Train_Sets`中的合成图像训练模型，随后在`Real_Test_Set`的真实图像上进行评估与微调。数据集支持按完整集或分场景（`by_scene`）两种方式进行评估，便于分析模型在不同环境条件下的鲁棒性。提供的预训练模型检查点可作为性能基准，而`Assets`文件夹中的三维模型与背景资源则允许用户基于SynthRender代码生成自定义的合成数据，以探索不同数据增强与生成策略对迁移效果的影响。

背景与挑战

背景概述

在工业机器人视觉领域，仿真到现实（sim-to-real）的迁移学习是提升系统在复杂、非结构化环境中感知能力的关键路径。IRIS数据集应运而生，作为一个专为工业场景下目标检测任务设计的综合性真实-仿真图像集，由研究团队于近期发布，并伴随开源合成数据生成代码SynthRender。该数据集核心聚焦于解决工业机械零部件在多样化光照、背景及视角下的识别难题，其构建涵盖了32类机械组件在四种典型工业场景下的508张高精度标注真实图像，并提供了完整的合成数据生成资产与基准模型。通过提供从三维模型、合成数据到预训练模型的完整链条，IRIS旨在为仿真到现实迁移方法建立一个可复现、系统化的评估基准，推动工业机器人视觉在真实部署中的鲁棒性与泛化性能研究。

当前挑战

IRIS数据集致力于应对工业机器人视觉中仿真到现实迁移的核心挑战，其首要难题在于如何弥合合成数据与真实工业环境之间的域差异，具体体现在光照条件多变、背景杂乱、物体遮挡以及材质反射等复杂视觉特性上。构建过程中的挑战则更为多元，包括高保真三维机械组件模型的获取与建模，需融合手工建模、三维高斯溅射及生成式人工智能等多种技术以平衡精度与效率；同时，真实数据采集需在受控光照、窗口日光、多样化背景及机器人操作场景等多种苛刻条件下进行，确保数据集的多样性与代表性；此外，合成数据生成流程的设计需充分考虑物理渲染的逼真度与随机化策略的有效性，以生成能够有效迁移至真实世界的训练样本。

常用场景

经典使用场景

在工业机器人视觉感知领域，IRIS数据集为仿真到真实迁移学习提供了基准测试平台。该数据集通过提供包含32类机械零件的508张真实工业场景图像，以及配套的合成数据生成资产，使得研究人员能够系统评估目标检测模型在复杂光照、背景多样性和机器人操作环境下的泛化性能。经典使用场景涉及利用合成数据训练模型，并在真实测试集上验证其鲁棒性，从而推动工业自动化中视觉系统的可靠部署。

解决学术问题

IRIS数据集致力于解决仿真到真实迁移中的领域鸿沟问题，这一挑战长期制约着工业机器人视觉系统的实际应用。通过提供多场景的真实测试数据和可复现的合成数据管道，该数据集使得学术界能够量化分析不同数据生成策略对模型性能的影响。其意义在于构建了一个标准化的评估框架，促进了领域自适应、少样本学习以及合成数据优化等前沿研究方向的发展，为工业视觉的算法创新提供了坚实的数据基础。

实际应用

在实际工业环境中，IRIS数据集直接服务于智能制造与自动化装配线的视觉检测任务。例如，在机器人抓取、零件分拣或质量检查等环节，基于该数据集训练的模型能够准确识别各类紧固件、密封圈等机械组件，即便在窗口阳光、多变背景或机器人搭载视角等挑战性条件下也能保持稳定性能。这显著降低了真实数据标注成本，加速了视觉系统在柔性生产线中的快速部署与迭代升级。

数据集最近研究

最新研究方向

在工业机器人视觉感知领域，模拟到真实（sim-to-real）迁移是提升系统在复杂、非结构化环境中鲁棒性的核心挑战。IRIS数据集以其涵盖多场景的真实工业图像与配套合成数据生成资产，为这一前沿方向提供了标准化基准。当前研究焦点集中于利用其提供的多样化合成训练集（如材料随机化与物理内在属性增强策略）与真实测试集，探索领域自适应、无监督域对齐以及基于生成式人工智能的3D资产创建技术，旨在弥合合成与真实视觉数据之间的域差距。该数据集正推动工业检测、机器人抓取等应用场景中，数据高效型视觉模型的演进，减少对大规模真实标注数据的依赖，加速智能机器人系统的实际部署。