MMR-AD
收藏资源简介：
MMR-AD是由上海交通大学团队构建的大规模多模态工业异常检测数据集，旨在推动基于多模态大语言模型的通用异常检测研究。该数据集包含来自14个公开AD数据集的127137个样本，涵盖188种产品类别和395种异常类型，并包含112875个标注异常区域。数据集构建过程中，团队通过人工筛选和标注确保了数据质量，并利用Qwen2.5-VL-72B模型自动生成包含详细推理步骤的文本内容。MMR-AD适用于训练和评估多模态大语言模型在工业场景下的通用异常检测能力，尤其擅长解决细粒度异常定位和跨类别泛化问题。
MMR-AD is a large-scale multimodal industrial anomaly detection dataset constructed by the team from Shanghai Jiao Tong University, aiming to promote general-purpose anomaly detection research based on multimodal large language models. This dataset contains 127,137 samples sourced from 14 public anomaly detection (AD) datasets, covering 188 product categories and 395 anomaly types, with 112,875 annotated anomaly regions. During the dataset construction process, the team ensured data quality through manual screening and annotation, and utilized the Qwen2.5-VL-72B model to automatically generate text content containing detailed reasoning steps. MMR-AD is suitable for training and evaluating the general anomaly detection capabilities of multimodal large language models in industrial scenarios, and is particularly effective in addressing fine-grained anomaly localization and cross-category generalization challenges.
MMR-AD数据集概述
数据集名称
MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models
数据集简介
MMR-AD是一个用于基准测试多模态大语言模型通用异常检测的大规模多模态数据集。该数据集通过为公开可用的异常检测数据集图像生成文本数据构建而成。
数据集来源与构建
- 原始图像来源：来自14个公开可用的异常检测数据集，包括MVTecAD、VisA、MVTecLOCO、MVTec3D、MPDD、GoodsAD、RealIAD、RealIAD-D3、MANTA、MIAD、CableInspect、WFDD、TextureAD和3CAD。
- 数据质量控制：对约19万张原始图像进行了人工检查，移除了低质量样本。
- 人工标注：为异常区域手动标注了边界框和文本标签，以辅助后续文本生成并评估模型准确定位异常的能力。
文本生成方法
采用自动流水线，利用Qwen2.5-VL-72B的视觉推理能力生成文本数据。具体流程包括：
- 为每个输入样本提供一个空间对齐的最近邻正常参考样本。
- 通过比较输入图像与参考图像，指导模型生成与异常检测相关的文本数据。
- 提供额外的视觉和文本提示以增强生成效果：
- 视觉提示：在输入图像的异常区域绘制红色边界框。
- 文本提示：包含异常区域的边界框坐标和对应的异常类型（例如："the location and label of the abnormal area is ([xmin, ymin, xmax, ymax], broken)"）。
数据集组织与结构
数据集采用层级目录结构，以MVTec子数据集中的"bottle"类别为例：
- bbox_annos.json：包含原始边界框标注。
- text_annos.json：包含标注的文本数据。
- reference.json：存储每张图像的参考图像集。
- ground_truth：包含掩码标注。
- test：根据异常类型分为子目录，每个子目录包含对应异常类型的异常样本。
- test_good：包含正常测试样本。
- train_good：包含正常训练样本。
数据集获取
可通过以下链接下载数据集：
- Hugging Face：https://huggingface.co/
- Model Scope：https://modelscope.cn/
引用信息
bibtex @inproceedings{yao2026mmr, title={MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models}, author={Xincheng Yao, Zefeng Qian, Chao Shi, Jiayang Song, Chongyang Zhang}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={00000--00000}, year={2026} }
