Synth-Eye-GAN-Data

Synth.Eye GAN工业检测数据集是一个用于计算机视觉目标检测任务的合成数据集，专为工业零件指纹残留缺陷检测而设计。该数据集是Synth.Eye GAN项目的一部分，通过三个StyleGAN2-ADA生成器模型和物理启发的合成流程自动生成，无需手动标注。数据集包含三个类别：工业零件正面（无缺陷）、背面和正面带指纹残留缺陷，旨在训练下游YOLO模型进行零件方向分类和缺陷检测。数据规模方面，默认生成6,000张合成图像，包括3,000张背面、1,500张正面和1,500张带指纹复合图像；数据集划分为训练集（约4,800张合成图像）、验证集（约600张合成图像）和测试集（来自INTEMAC研究中心的真实工业照片）。图像格式为256×256像素PNG，合成在绿色相机背景上，标签采用YOLO格式的.txt文件（包含归一化边界框），并附带Ultralytics格式的data.yaml配置文件。该数据集适用于工业AI和缺陷检测应用，但存在局限性：数据针对单一工业零件类型，多样性有限；指纹生成器基于墨水指纹扫描数据，与金属表面光学指纹残留存在视觉差异；训练和验证集为合成数据，测试集为真实照片，可能引入域差距。数据集采用MIT许可证，由INTEMAC研究创新中心开发。The Synth.Eye GAN Industrial Inspection Dataset is a synthetic dataset designed for computer vision object detection tasks, specifically for fingerprint residue defect detection on industrial parts. It is part of the Synth.Eye GAN project and is automatically generated using three StyleGAN2-ADA generator models and a physics-inspired synthesis pipeline, eliminating the need for manual annotation. The dataset includes three classes: front side of industrial parts (defect-free), back side, and front side with fingerprint residue defects, aiming to train downstream YOLO models for part orientation classification and defect detection. In terms of data scale, it defaults to generating 6,000 synthetic images, comprising 3,000 back side, 1,500 front side, and 1,500 fingerprint composite images; the dataset is split into a training set (approximately 4,800 synthetic images), a validation set (approximately 600 synthetic images), and a test set (real industrial photos from the INTEMAC research center). The images are in 256×256 pixel PNG format, synthesized on a green camera background, with labels in YOLO format .txt files (containing normalized bounding boxes) and accompanied by a data.yaml configuration file in Ultralytics format. This dataset is suitable for industrial AI and defect detection applications but has limitations: the data is focused on a single industrial part type, limiting diversity; the fingerprint generator is based on ink fingerprint scan data, which may differ visually from optical fingerprint residues on metal surfaces; and the training and validation sets are synthetic, while the test set consists of real photos, potentially introducing domain gaps. The dataset is released under the MIT license and developed by the INTEMAC Research and Innovation Center.

原始信息汇总

Synth.Eye GAN — Industrial Inspection Dataset 数据集概述

基本信息

• 数据集名称：Synth.Eye GAN — Industrial Inspection Dataset
• 许可证：MIT
• 任务类别：目标检测（Object Detection）
• 语言：英语
• 标签：合成数据、StyleGAN2-ADA、工业AI、缺陷检测、指纹、YOLOv8、计算机视觉、生成式
• 数据集规模：1,000 < n < 10,000
• 标注来源：机器自动生成
• 数据来源：原始数据

数据集描述

该数据集是 Synth.Eye GAN 项目的训练数据集，包含工业零件的合成 YOLO 格式图像，部分图像带有指纹残留缺陷。这些图像由三个 StyleGAN2-ADA 模型和一个基于物理模型的合成管线生成。该数据集驱动两个下游 YOLO 模型：一个用于零件方向分类，一个用于指纹缺陷检测。

类别结构

ID	名称	描述
0	Cls_Obj_Front_Side	工业零件正面（无缺陷）
1	Cls_Obj_Back_Side	工业零件背面
2	Cls_Defect_Fingerprint	正面的指纹残留合成缺陷

数据划分

划分	内容	数量
train	合成 GAN 图像（80%）	约 4,800 张
val	合成 GAN 图像（10%）	约 600 张
test	来自 INTEMAC 研究中心的真实工业照片	数量不定

默认生成总数为：3,000 张背面 + 1,500 张正面 + 1,500 张正面+指纹合成 = 6,000 张合成图像

数据格式

• 图像：256 × 256 像素 PNG 格式，合成在绿色相机背景上
• 标签：YOLO .txt 格式（每行一个边界框：class cx cy w h，归一化坐标），与图像目录树结构一致
• 配置文件：data.yaml（Ultralytics 格式）

生成管线

三个 StyleGAN2-ADA 生成器分别产生原始图像：

• front.pkl：生成 256×256 正面零件图像
• back.pkl：生成 256×256 背面零件图像
• fingerprint.pkl：生成 128×128 指纹残留图像

合成步骤将指纹图像通过压力噪声、梯度调制、运动模糊、alpha 羽化和多种混合模式（alpha / multiply / overlay）混入正面零件图像，无需手动标注。

使用示例

python from ultralytics import YOLO

model = YOLO("yolov8m_object_detection") results = model("image.png", imgsz=640)

局限性

• 领域特定性：所有生成器仅基于 INTEMAC 研究中心约 130 张真实图像训练，输出多样性有限
• 指纹领域差异：指纹 GAN 基于扫描的墨水指纹训练，与金属表面光学相机拍摄的指纹残留视觉差异较大
• 合成训练/验证，真实测试：测试集包含真实照片，训练集和验证集完全由 GAN 生成

相关资源

资源	链接
GAN + YOLO 模型	https://huggingface.co/LukasMoravansky/Synth-Eye-GAN
StyleGAN2-ADA 分支	https://github.com/LukasMoravansky/stylegan2-ada-pytorch
前身项目（基于 Blender）	https://github.com/LukasMoravansky/Synth_Eye
原始 StyleGAN2-ADA	https://github.com/NVlabs/stylegan2-ada-pytorch

搜集汇总

数据集介绍

构建方式

Synth-Eye-GAN-Data数据集源于一项精巧的合成图像生成流程，其核心依托三套独立的StyleGAN2-ADA生成器，分别负责工业零件正面、背面及指纹残留物的生成。正面与背面图像以256×256像素输出，而指纹图案则压缩至128×128像素。通过物理启发的合成管线，将指纹以压力噪声、梯度调制、运动模糊及阿尔法羽化等复合效果叠印于零件正面，无需人工标注即可产出带缺陷标签的合成样本。最终构建出约6000张图像，涵盖三类标注对象，并以YOLO格式存储边界框标签。

特点

该数据集的核心优势在于利用生成对抗网络与物理合成策略的协同，突破性地减少了真实工业缺陷样本的采集成本。训练与验证集完全由合成图像构成，而测试集则采用真实工业照片，形成域迁移评估基准。三类目标的划分不仅支持零件朝向识别，更实现了指纹残留这种细微缺陷的检测。图像统一采用256像素尺寸及绿色背景，便于后续复合处理，而标签体系兼容Ultralytics格式，降低了工程部署门槛。

使用方法

数据集的使用围绕两个下游YOLO模型展开：零件朝向分类模型与指纹缺陷检测模型。用户可通过Ultralytics框架加载预训练权重，对输入图像进行推理。典型调用方式为实例化YOLO对象并指定模型路径，调用predict方法即可获得检测结果。数据集本身提供了配置化的data.yaml文件，可直接用于yolo模型的训练与验证流程。建议将合成数据与少量真实样本混合微调，以提升模型在真实场景中的泛化性能。

背景与挑战

背景概述

在工业视觉检测领域，基于深度学习的缺陷识别技术正逐步替代传统人工目检，然而真实缺陷样本的稀缺性与标注成本高昂始终制约着模型泛化能力的提升。Synth-Eye-GAN-Data数据集由INTEMAC研究中心于2023年发布，旨在通过生成对抗网络合成高质量工业零部件图像以解决数据匮乏问题。该数据集由Lukas Moravansky主导开发，核心研究问题聚焦于利用StyleGAN2-ADA模型生成包含指纹残留缺陷的合成图像，并驱动YOLOv8进行目标检测与缺陷分类。其创新性地采用物理模拟合成管线，将三个独立生成器的输出进行多模式融合，无需人工标注即可产出带缺陷的标注数据，在工业人工智能领域开辟了合成数据驱动缺陷检测的新范式，对降低真实数据采集成本、提升产线自动化检测效率具有重要启示意义。

当前挑战

该数据集面临的核心挑战在于解决工业缺陷检测中真实样本极度不平衡的领域难题——传统方法需大量且多样化的缺陷实例方能训练鲁棒模型，但生产环境中缺陷率通常不足千分之一。构建过程中，首先需克服生成图像的域偏移问题：三个GAN模型均基于仅约130张真实工业部件图像训练，导致合成样本的纹理多样性受限；其次，指纹缺陷生成器使用非接触式扫描墨迹指纹数据集SOCOFing进行训练，与金属表面光学相机拍摄的残留指纹存在明显的视觉差异，形成严重的指纹域间隙；再者，训练集与验证集完全由合成图像构成而测试集为真实照片，这种跨域评估使得模型对真实工业环境的适应性面临严峻考验，需在弥合合成域与真实域表象差异的同时保持缺陷检测的准确性。

常用场景

经典使用场景

在工业视觉检测领域，数据的稀缺性与标注成本高昂始终是制约深度学习模型落地的核心瓶颈。Synth-Eye-GAN-Data数据集专为解决这一困境而生，其经典使用场景聚焦于利用生成对抗网络合成高保真的工业零件图像，并在此基础上训练目标检测与缺陷识别模型。通过StyleGAN2-ADA生成的零件正面、背面及指纹残留缺陷图像，结合物理启发的合成管线，研究者能够在不依赖人工标注的前提下，高效构建大规模、多样化的训练集。该数据集广泛应用在零件朝向分类与表面缺陷检测两大经典任务中，为工业自动化质检提供了可靠的数据支撑。

实际应用

在实际生产环境中，Synth-Eye-GAN-Data数据集直接服务于自动化质检系统的开发与部署。基于该数据集训练的YOLOv8模型能够精准识别零件的正反面朝向，并检测金属表面是否存在指纹残留缺陷，从而替代传统的人工目检环节。这一应用方案尤其适用于电子元器件制造、精密机械加工以及汽车零部件装配等对表面清洁度要求严苛的行业。数据集提供的合成图像生成流程可灵活适配不同零件类型与缺陷形态，显著降低企业收集真实缺陷样本的时间与资金成本，加速智能质检方案从实验室到产线的落地。

衍生相关工作

围绕Synth-Eye-GAN-Data数据集，衍生出多项具有启发意义的学术与工程工作。其上游的Blender基合成管线（Synth_Eye项目）奠定了物理仿真生成的基础，而下游的StyleGAN2-ADA集成方案则展示了生成模型与检测模型协同增效的完整链路。研究者在此基础上进一步探索了基于域的随机插值、迁移学习以及数据增强策略，推动了合成数据在工业缺陷检测领域的规模化应用。此外，该数据集还启发了将GAN生成图像与传统光学仿真相结合的研究方向，为构建更逼真、更可控的工业视觉数据集提供了可复现的范例。