DDQA Dataset (Defect Detection Question-Answering dataset)

DDQA数据集是由上海交通大学团队构建的多模态工业异常检测训练数据集，包含127997张图像，涵盖多种对象类别和复杂场景。该数据集根据现有数据集中的信息，按照特定规则构建，不使用生成模型，有效减少了数据噪声，提高了数据的准确性和可信度。数据集包含四种任务：异常识别、粗糙缺陷定位、缺陷精细映射和缺陷分类，以增强模型在工业质量检测方面的能力。

The DDQA dataset is a multimodal industrial anomaly detection training dataset constructed by the team from Shanghai Jiao Tong University. It contains 127,997 images covering multiple object categories and complex scenarios. This dataset is built based on information from existing datasets following specific rules, without using generative models, which effectively reduces data noise and improves the accuracy and credibility of the dataset. The dataset includes four tasks: anomaly recognition, coarse defect localization, fine defect mapping, and defect classification, aiming to enhance the model's capabilities in industrial quality inspection.

搜集汇总

数据集介绍

构建方式

DDQA数据集的构建基于多个工业异常检测数据集，涵盖了广泛的工业场景和缺陷类型。数据集的构建过程严格遵循领域特定的规则，避免了使用GPT等生成模型，确保了数据的真实性和可靠性。通过将传统的缺陷掩码和类别标签转化为适合大视觉语言模型（LVLM）训练的指令格式，DDQA数据集为工业异常检测任务提供了多模态的训练基础。这一方法不仅减少了数据噪声，还显著降低了数据生成的成本。

特点

DDQA数据集的特点在于其多样性和真实性。数据集涵盖了四种不同的任务类型，包括异常判别、粗略缺陷定位、精细缺陷映射和缺陷分类。这些任务设计旨在提升模型在工业质量检测中的能力。与传统的合成数据集不同，DDQA数据集基于真实的工业场景和缺陷类型构建，确保了数据的多样性和复杂性。此外，数据集的构建过程避免了生成模型的引入，进一步提高了数据的准确性和可信度。

使用方法

DDQA数据集的使用方法主要围绕多模态大语言模型的训练和评估展开。数据集通过提供丰富的指令格式数据，支持模型在工业异常检测任务中的训练和微调。具体而言，数据集可用于训练模型进行缺陷检测、定位和分类等任务。通过结合视觉和语言模态，模型能够更好地理解工业场景中的缺陷，并生成精确的检测结果。此外，数据集还可用于评估模型在不同工业场景下的泛化能力，为工业异常检测领域的研究提供了有力的支持。

背景与挑战

背景概述

DDQA数据集（Defect Detection Question-Answering dataset）是由上海交通大学的研究团队于2025年提出的首个多模态工业异常检测训练数据集。该数据集的创建旨在解决工业异常检测领域中现有方法在缺陷描述和定位方面的不足。传统方法主要依赖于像素级异常评分，难以提供详细的缺陷描述，而DDQA数据集通过结合视觉和语言理解，提供了丰富的语义信息。该数据集涵盖了多种缺陷类型和工业场景，确保了数据的真实性和可靠性，为工业异常检测模型的训练提供了坚实的基础。DDQA数据集的推出不仅推动了工业异常检测领域的发展，还为多模态大模型在该领域的应用提供了新的研究方向。

当前挑战

DDQA数据集在构建和应用过程中面临多重挑战。首先，工业异常检测领域的问题复杂性较高，缺陷类型多样且场景复杂，如何准确描述和定位缺陷是一个关键挑战。其次，多模态大模型在工业异常检测中的应用尚处于起步阶段，如何在问答性能和基于掩码的定位能力之间取得平衡是一个难题。此外，数据集的构建过程中，如何避免生成模型（如GPT）带来的数据噪声，确保数据的真实性和可靠性，也是一个重要的挑战。DDQA数据集通过引入多模态缺陷定位模块和独立优化目标，有效缓解了这些问题，但仍需进一步研究以提升模型的泛化能力和解释性。

常用场景

经典使用场景

DDQA数据集在工业异常检测领域中被广泛应用于多模态模型的训练与评估。其经典使用场景包括缺陷检测、缺陷分类、粗略缺陷定位和精细缺陷映射等任务。通过结合视觉和语言模态，DDQA数据集能够为模型提供丰富的语义信息，帮助其在复杂的工业环境中准确识别和描述缺陷。

实际应用

在实际应用中，DDQA数据集为工业生产线上的自动化质量检测提供了强有力的支持。通过训练基于DDQA的模型，企业能够在生产过程中实时检测产品缺陷，减少人工检查的成本和时间。此外，DDQA数据集的多模态特性使其能够适应多样化的工业场景，如电子制造、汽车零部件检测等，显著提升了生产效率和产品质量。

衍生相关工作

DDQA数据集的推出催生了一系列相关研究工作，如AnomalyGPT和Myriad等基于大视觉语言模型的工业异常检测方法。这些工作通过借鉴DDQA的多模态数据构建思路，进一步优化了模型在缺陷检测和定位任务中的表现。此外，DDQA还为其他领域的研究提供了参考，推动了多模态模型在工业场景中的广泛应用。