InstructIAD

InstructIAD数据集是一个针对工业异常检测的指令微调数据集，由哈尔滨工业大学创建。该数据集包含9444个异常样本和13578个正常样本，涵盖40种不同的产品类型。数据集中的每个样本都带有丰富属性的详细描述，描述产品的颜色、形状、布局、材料和纹理等特征，以及缺陷的位置、方向、形状和颜色。InstructIAD支持三种关键任务：异常检测、属性级描述和异常分析，旨在帮助模型更好地理解视觉属性和制造流程，以提高工业异常检测的准确性。

The InstructIAD dataset is an instruction-tuning dataset for industrial anomaly detection, created by Harbin Institute of Technology. It contains 9,444 anomalous samples and 13,578 normal samples, covering 40 distinct product categories. Each sample in the dataset comes with detailed descriptions covering rich attributes, including product features such as color, shape, layout, material and texture, as well as the location, orientation, shape and color of defects. The InstructIAD dataset supports three core tasks: anomaly detection, attribute-level description and anomaly analysis, aiming to help models better understand visual attributes and manufacturing processes to improve the accuracy of industrial anomaly detection.

搜集汇总

数据集介绍

构建方式

InstructIAD数据集的构建基于现有的工业异常检测（IAD）数据集，如RealIAD、VisA和MVTec-LOCO AD。通过人工标注，数据集涵盖了9444个异常样本和13578个正常样本，涉及40种不同产品。标注过程中，研究人员为每个样本提供了细粒度的属性级描述，详细描述了产品的颜色、形状、布局、材质、纹理等特征，以及缺陷的位置、方向、形状和颜色。此外，数据集还引入了制造过程驱动的异常检测范式，通过Chain-of-Thought with Manufacturing（CoT-M）策略，将缺陷与具体的制造步骤关联起来，生成了丰富的制造过程相关的推理轨迹。

使用方法

InstructIAD数据集的使用方法主要包括三个任务：异常检测、属性级描述和异常分析。在异常检测任务中，模型需要根据输入的图像和制造过程描述，判断产品是否存在缺陷。属性级描述任务要求模型生成详细的图像描述，重点关注产品和缺陷的属性。异常分析任务则进一步要求模型在检测到异常后，提供基于视觉属性和制造过程的解释。通过这些任务，模型能够逐步从细粒度的视觉特征推理到异常检测，最终实现制造过程驱动的异常检测。

背景与挑战

背景概述

InstructIAD数据集由哈尔滨工业大学与琶洲实验室的研究团队于2025年提出，旨在通过结合视觉专家引导的视觉分词器与制造过程，提升基于大模型（LMM）的工业异常检测（IAD）性能。该数据集的创建背景源于当前通用大模型在工业异常检测领域的泛化能力不足，尤其是在缺陷区域的识别与制造过程的理解方面存在显著差距。InstructIAD通过引入制造过程驱动的异常检测范式，结合专家引导的感兴趣区域分词器（EG-RoI）和制造链思维（CoT-M）数据组织策略，显著提升了模型在工业场景中的表现。该数据集在MVTec-AD、WFDD和PCB-Bank等基准测试中表现出色，推动了工业异常检测领域的发展。

当前挑战

InstructIAD数据集面临的挑战主要集中在两个方面。首先，工业异常检测任务本身具有复杂性，缺陷通常出现在复杂的背景中，且与功能部件紧密相邻，这使得通用大模型难以准确识别和聚焦缺陷区域。其次，数据集的构建过程中，如何有效结合制造过程信息并生成高质量的链式思维（CoT）数据是一个关键挑战。现有的方法通常依赖于图像级别的比较或缺陷分类，缺乏对制造过程中缺陷因果关系的深入理解。此外，视觉专家生成的异常区域分割图的质量直接影响模型的性能，如何在保证高分辨率的同时减少冗余信息也是一个技术难点。

常用场景

经典使用场景

InstructIAD数据集在工业异常检测（IAD）领域中被广泛用于训练和评估基于大模型的多模态模型（LMMs）。其经典使用场景包括通过视觉专家引导的区域兴趣标记器（EG-RoI）提取高分辨率异常区域，并结合制造过程信息进行异常检测。该数据集通过指令微调和制造链思维（CoT-M）数据组织策略，帮助模型理解缺陷与制造过程之间的因果关系，从而提升检测精度。

解决学术问题

InstructIAD数据集解决了工业异常检测中两大关键问题：一是通用多模态模型在视觉模态中缺乏对缺陷区域的聚焦能力，导致检测精度不足；二是现有方法忽视了缺陷与制造过程之间的内在联系，无法理解缺陷的成因。通过引入EG-RoI和制造驱动的IAD范式，该数据集显著提升了模型在复杂工业场景中的异常检测能力，尤其是在零样本和少样本设置下表现优异。

实际应用

InstructIAD数据集在实际工业场景中具有广泛的应用价值。例如，在电子制造中，该数据集可用于检测印刷电路板（PCB）上的缺陷，如缺失组件或焊接问题。通过结合制造过程信息，模型能够更精确地识别由制造偏差引起的异常，从而提升生产线的质量控制效率。此外，该数据集还可应用于其他制造领域，如汽车零部件检测和食品包装缺陷识别。

数据集最近研究

最新研究方向

近年来，工业异常检测（IAD）领域的研究逐渐聚焦于如何将大规模多模态模型（LMMs）应用于复杂的工业场景。InstructIAD数据集的提出，标志着该领域在结合视觉专家引导的视觉分词器和制造过程驱动的异常检测范式上取得了重要进展。通过引入专家引导的感兴趣区域分词器（EG-RoI），模型能够更精确地捕捉潜在的缺陷区域，从而提升检测的准确性。此外，制造过程驱动的异常检测范式通过将制造流程与缺陷成因相结合，进一步增强了模型对复杂工业场景的理解能力。InstructIAD数据集不仅提供了丰富的属性级标注，还通过Chain-of-Thought with Manufacturing（CoT-M）策略，将制造过程与缺陷推理相结合，显著提升了模型在零样本和少样本设置下的表现。这一研究方向不仅推动了工业异常检测技术的发展，也为未来智能制造系统中的质量控制提供了新的思路。

相关研究论文

• Triad: Empowering LMM-based Anomaly Detection with Vision Expert-guided Visual Tokenizer and Manufacturing Process

  哈尔滨工业大学 · 2025年