Real-IAD D³

Real-IAD D³数据集是一个面向工业异常检测的高精度多模态数据集，由复旦大学、上海交通大学、腾讯优图实验室和荣成市共同创建。该数据集包含20个不同的产品类别，每个类别包含4-6种不同的缺陷类型，总计8450个样本，其中包括5000个正常样本和3450个异常样本。每个样本都包含了同步的RGB图像、点云数据和通过光度立体生成的伪3D图像。该数据集在缺陷检测方面提供了更高的挑战性和实用性，适用于单模态和多模态应用，旨在推动工业异常检测算法的改进和优化。

The Real-IAD D³ Dataset is a high-precision multimodal dataset for industrial anomaly detection, co-developed by Fudan University, Shanghai Jiao Tong University, Tencent YouTu Lab, and Rongcheng City. This dataset encompasses 20 distinct product categories, each containing 4 to 6 types of defects, with a total of 8450 samples, including 5000 normal samples and 3450 anomalous samples. Each sample contains synchronized RGB images, point cloud data, and pseudo-3D images generated via photometric stereo. This dataset offers enhanced challenge and practicality for defect detection, is applicable to both unimodal and multimodal applications, and aims to promote the improvement and optimization of industrial anomaly detection algorithms.

搜集汇总

数据集介绍

构建方式

Real-IAD D³数据集通过集成高分辨率RGB图像、微米级3D点云数据以及通过光度立体技术生成的伪3D模态，构建了一个多模态工业异常检测基准。数据采集系统采用统一设置，确保2D、伪3D和3D数据的精确对齐和同步捕获。高分辨率相机（3,648 × 5,472像素）用于获取RGB图像，四向结构光系统用于生成高精度3D点云，而光度立体技术则通过四向光源合成表面法线以生成伪3D深度信息。数据集涵盖20个工业产品类别，包含5,000个正常样本和3,450个异常样本，每个样本均包含同步的多模态数据。

特点

Real-IAD D³数据集以其高精度、大规模和多模态特性脱颖而出。其3D点云分辨率高达0.002毫米，能够捕捉细微的表面缺陷。伪3D模态通过光度立体技术增强了表面细节的检测能力，尤其适用于浅表缺陷如划痕和凹陷。数据集覆盖20个工业类别和69种缺陷类型，提供了丰富的异常样本，模拟了真实工业场景中的复杂性和多样性。此外，数据集的严格对齐和多模态同步设计使其成为评估多模态异常检测算法的理想基准。

使用方法

Real-IAD D³数据集适用于多模态工业异常检测算法的开发和评估。研究人员可以利用其同步的RGB、伪3D和3D点云数据，开发融合多模态信息的检测模型。数据集提供了像素级标注的异常样本，支持监督学习和无监督学习方法。使用该数据集时，建议结合伪3D和3D数据的互补优势，以提升对表面和结构异常的检测性能。数据集还提供了基准模型D³M，可作为多模态融合方法的参考实现。

背景与挑战

背景概述

Real-IAD D³是由复旦大学、上海交通大学和腾讯优图实验室等机构联合开发的一个高精度多模态工业异常检测数据集，发布于2025年。该数据集针对工业制造场景中复杂缺陷检测的挑战，创新性地融合了RGB图像、微米级3D点云和光测立体法生成的伪3D数据，包含20个工业品类共8,450个样本。作为MVTec 3D-AD等先驱数据集的升级版本，其0.002mm的点云精度和同步多模态特性显著提升了工业场景的建模能力，为基于深度学习的多模态异常检测算法建立了新的性能基准。

当前挑战

该数据集主要面临三方面挑战：在领域问题层面，工业缺陷的多样性和细微性（如仅占表面0.46%的微划痕）对现有检测方法的灵敏度提出极高要求；在模态融合层面，如何有效协调2D纹理、3D几何与伪3D深度信息的互补优势仍存在算法设计难题；在构建过程中，微小工业零件（最小7mm）的高精度三维扫描、跨模态严格对齐以及光测立体成像的环境控制等技术实现具有显著复杂性。

常用场景

经典使用场景

在工业质检领域，Real-IAD D³数据集通过融合高分辨率RGB图像、微米级3D点云和光测立体衍生的伪3D数据，为多模态异常检测提供了标准化测试平台。其典型应用场景包括电子元件表面划痕检测、机械结构件形变分析以及复合材料的微观缺陷定位，尤其适用于对检测精度要求严苛的精密制造场景。数据集涵盖20类工业产品与69种缺陷类型，通过严格对齐的多模态数据采集系统，实现了跨模态特征的空间同步，为算法提供了真实工业环境下的多维表征能力。

解决学术问题

该数据集有效解决了工业异常检测领域三大核心问题：其一，突破了传统单模态数据在微小缺陷检测中的分辨率瓶颈，通过0.002mm精度的点云数据实现了亚微米级缺陷捕捉；其二，创新引入的伪3D模态弥补了2D纹理信息与3D几何数据间的表征鸿沟，特别针对反光材质表面缺陷检测这一学术难题提供了新解决方案；其三，通过构建规模达8,450样本的严格对齐多模态数据库，为跨模态特征融合、小样本异常检测等前沿研究方向提供了基准测试环境，推动了工业质检算法从单一模态向多模态协同检测的范式转变。

衍生相关工作

基于该数据集已催生多项创新性研究：M3DM框架通过特征交换机制实现跨模态知识蒸馏，在CVPR 2023获最佳论文提名；Shape-Guided Dual-Memory Learning利用伪3D引导的注意力机制，将表面异常检测F1-score提升至0.942；后续研究提出的D³M基准模型建立多模态特征记忆库，在IEEE TIM期刊发表并成为工业检测新标准。这些工作共同推动了基于多模态融合的第三代工业质检算法发展，相关成果被集成到TensorFlow Industrial和PyTorch Vision等开源框架。