MM-Hallu/MAD-Bench

MAD-Bench是一个用于评估多模态大型语言模型（MLLM）对包含错误信息的欺骗性提示的脆弱性的基准数据集。包含957个测试样本，覆盖5个类别，使用GPT-4o作为评判标准进行评估。数据集包含图像（来自COCO、Flickr和网络来源）、包含错误信息的欺骗性提示以及所属的欺骗类别。五个类别分别是：不存在的物体（748个样本，提示关于图像中不存在的物体）、场景理解（109个样本，欺骗性的场景描述）、物体计数（29个样本，错误的物体数量）、文本识别（50个样本，误导性的文本相关问题）和物体属性（21个样本，错误的物体属性）。由于URL损坏，43张图像无法下载。评估指标为欺骗抵抗率，模型生成对欺骗性提示的响应，GPT-4o判断其正确性。数据来源为arXiv 2024年的MAD-Bench论文。

Benchmark for evaluating MLLM vulnerability to deceptive prompts containing incorrect information. 957 test samples across 5 categories, evaluated using GPT-4o as judge. The dataset includes images (from COCO, Flickr, and web sources), deceptive prompts containing incorrect information, and the category of deception. The five categories are: non-existent_object (748 samples, prompts about objects not in the image), scene_understanding (109 samples, deceptive scene descriptions), count_of_object (29 samples, incorrect object counts), text_recognition (50 samples, misleading text-related questions), and object_attribute (21 samples, wrong object attributes). 43 images could not be downloaded due to broken URLs. Evaluation metric is deception resistance rate, where the model generates a response to the deceptive prompt and GPT-4o judges its correctness. Original data from MAD-Bench (arXiv 2024).

搜集汇总

数据集介绍

构建方式

MAD-Bench是一个专为评估多模态大语言模型（MLLM）对欺骗性提示鲁棒性而构建的基准数据集。该数据集基于COCO、Flickr及网络来源的图像，精心设计了957个测试样本，这些样本均包含嵌入了错误信息的欺骗性指令。构建过程中，研究者将样本划分为五个类别：不存在物体（748个）、场景理解（109个）、物体计数（29个）、文本识别（50个）以及物体属性（21个），每个类别均针对模型在特定维度上的幻觉易感性。值得注意的是，由于部分原始图片链接失效，最终有43张图像未能成功下载。

特点

MAD-Bench的显著特点在于其聚焦于多模态模型对虚假信息的抗性评估，而非传统的视觉问答准确性。数据集通过欺骗性提示（如描述图片中不存在的物体或错误计数）直接挑战模型的信息甄别能力。其类别设计覆盖了从简单物体存在性到复杂场景理解的多种幻觉类型，使得评估维度全面且具有代表性。此外，采用GPT-4o作为评判器，通过计算欺骗抵抗率（deception resistance rate）来量化模型的表现，确保评估过程自动化且标准化。

使用方法

使用MAD-Bench时，研究者需将每个样本中的图像与对应的欺骗性指令输入待评估的多模态大语言模型，生成模型的响应。随后，利用GPT-4o作为自动评判器，基于模型回答的内容正确性进行评分，最终汇总得到整体的欺骗抵抗率。该数据集以Parquet格式提供训练拆分（默认配置），包含图像、指令和类别字段，且采用MIT开源协议，便于直接集成到现有的评估流水线中。建议结合原论文（arXiv 2024）中的详细方法论，以复现基准结果或进行扩展研究。

背景与挑战

背景概述

MAD-Bench数据集于2024年由研究团队基于arXiv预印本提出，其核心在于评估多模态大语言模型（MLLM）在面对含有误导性错误信息的欺骗性提示词时的鲁棒性。随着多模态模型在视觉问答等任务中的广泛应用，模型对视觉信息与语言描述之间一致性的依赖日益增强，然而现有基准通常仅关注模型在准确信息下的表现，忽略了其受恶意或无意错误信息诱导的脆弱性。MAD-Bench填补了这一空白，通过精心设计的957个测试样本，涵盖五种不同类型的欺骗性场景，为衡量模型抵抗语言幻觉的能力提供了系统化工具，对提升多模态系统的安全性和可信度具有重要推动作用。

当前挑战

MAD-Bench所应对的核心领域挑战在于多模态大语言模型对虚假信息的高度易感性——模型可能盲目信任提示词中的错误描述而忽略视觉证据，导致生成看似合理但实际错误的响应。在构建过程中，团队面临多重难点：需确保欺骗性提示与图像内容之间存在可被模型探测的矛盾，同时避免人为偏见；从COCO、Flickr及网络来源收集图像后，由于部分URL失效导致43张图像无法下载，影响了样本的完整性和代表性；此外，设计五个细粒度类别（如虚假对象、错误计数）要求对每个样本进行严格的人工审核以防止歧义，并通过GPT-4o作为裁判评估模型的抗欺骗率，但裁判模型本身也可能引入评估偏差，需谨慎平衡自动化与可靠性。

常用场景

经典使用场景

MAD-Bench数据集专为评估多模态大语言模型（MLLM）对欺骗性提示的鲁棒性而设计。其核心使用场景是向视觉语言模型提供包含错误信息的文本指令，例如描述图像中不存在的物体、篡改场景理解、给出错误的对象计数或属性等，进而检验模型是否会被这些误导性信息所诱导，产生不符合图像真实内容的幻觉输出。该数据集涵盖957个测试样本，横跨五大欺骗类别，为研究者提供了标准化的评测协议。

实际应用

在实际应用中，MAD-Bench可用于辅助开发抗欺骗的AI助手、自动化图像描述系统以及视觉问答产品。例如，当用户对照片内容提出错误质疑时，一个经过此基准优化的模型不会盲目遵循用户指令，而是能坚守视觉事实，提供准确的描述。这种能力在医疗影像分析、安防监控解说以及智能客服等对信息真实性要求极高的场景中至关重要。

衍生相关工作

MAD-Bench衍生了一系列关于多模态一致性检测与幻觉防御的经典工作。研究者基于该基准提出了如‘对抗性指令微调’、‘视觉锚定推理’等方法，旨在提升模型对文本-图像之间事实对齐的敏感性。此外，它还催生了针对特定欺骗类别（如物体计数与属性）的专门评估指标，并启发了后续如‘HallucinationBench’、‘DeceptiveVQA’等相关基准的构建，推动了多模态系统可靠性研究的纵深发展。