MM-Hallu/MIHBench

MIHBench是一个用于评估多模态大语言模型（MLLMs）中多图像理解能力的多图像幻觉基准数据集。该数据集包含3,200个样本，分布在4个任务中（每个任务800个样本），每个样本包含2-4张来自COCO数据集的图像。数据集的特征包括图像列表、自然语言问题、标签（“是”或“否”）、任务标识符、图像数量、图像源文件名等。对于计数任务，还包含额外的字段如injected（布尔值）和object_counts（JSON字符串）。任务类型包括计数（2张图像，判断目标对象数量是否相同）、存在对抗（3张图像，判断目标对象是否存在于所有图像中，使用罕见/混淆对象）、存在流行（3张图像，使用常见对象）和存在随机（3张图像，使用随机对象）。评估指标包括准确率、精确率、召回率和F1分数。数据集来源为MIHBench，发表于ACM Multimedia 2025。

MIHBench is a Multi-Image Hallucination Benchmark for evaluating multi-image understanding in Multimodal Large Language Models (MLLMs). The dataset contains 3,200 samples across 4 tasks (800 each), with each sample containing 2-4 images from the COCO dataset. Features include a list of images, a natural language question about the images, a ground truth label ("yes" or "no"), a task identifier, the number of images, and source image filenames. Additional fields for the count task include `injected` (boolean) and `object_counts` (JSON string). Task types include count (2 images, same number of target object in both images), existence_adversarial (3 images, target object exists in all images with rare/confusing objects), existence_popular (3 images, common objects), and existence_random (3 images, random objects). Evaluation metrics include Accuracy, Precision, Recall, and F1. The dataset is sourced from MIHBench, published at ACM Multimedia 2025.

搜集汇总

数据集介绍

构建方式

MIHBench是一个专为评估多模态大语言模型在多图像场景下幻觉现象而设计的基准数据集。其构建基于COCO数据集，精心筛选出2至4张图像组成样本，并围绕四种任务类型——计数、存在性对抗、存在性流行与存在性随机——各生成800个样本，总计3200个测试实例。每个样本均包含自然语言问题与二元答案标签（“是”或“否”），其中计数任务额外引入了注入变量与目标对象数量信息，以增强评测的层次性与挑战性。

特点

MIHBench的核心特点在于其聚焦于多图像理解中的幻觉检测，涵盖了计数与存在性判断两类核心认知任务。存在性任务进一步细分为对抗、流行与随机三种子类型，前者采用罕见或易混淆对象，后者则基于常见或随机对象，从而系统性地检验模型在不同对象熟悉度下的鲁棒性。所有样本均源自真实场景图像，保证了评测的生态效度，同时任务标签的多样性使得对模型幻觉成因的细粒度分析成为可能。

使用方法

使用MIHBench时，研究者需将每组图像与对应问题输入待评测的多模态模型，并获取模型输出的“是/否”二元回答。随后通过计算准确率、精确率、召回率与F1分数等指标，量化模型在多图像幻觉检测上的表现。数据集以HuggingFace格式组织，包含多个配置子集（如count、existence_adversarial），用户可按需加载特定任务的数据进行针对性评估，从而实现对模型多图像理解能力的全面诊断。

背景与挑战

背景概述

在视觉语言模型（VLM）日益普及的背景下，多图像理解能力成为衡量模型综合性能的关键维度，然而现有基准多聚焦于单图像场景，难以有效评估模型在多图像环境中的幻觉问题。MIHBench（Multi-Image Hallucination Benchmark）由研究团队于2025年发表于ACM Multimedia，旨在填补这一空白。该数据集基于COCO构建，包含3200个样本，覆盖计数、对抗性存在性、常见存在性及随机存在性四项任务，每项任务涉及2至4张图像，通过精细设计的问答格式检验模型对物体存在性及数量关系的判断能力。MIHBench的提出为多模态领域提供了首个系统性评估多图像幻觉的工具，对推动VLM的可靠性与鲁棒性研究具有重要影响。

当前挑战

MIHBench所解决的核心领域挑战在于多图像理解中的幻觉现象，即模型在面对多张图像时可能错误地报告物体存在或数量，尤其在图像间存在语义冲突或对象罕见时更易发生。具体任务如计数任务要求模型准确判断两图像中目标物体数量是否一致，而对抗性存在性任务则通过引入易混淆物体加剧幻觉风险。在构建过程中，挑战包括从COCO海量图像中精选适宜样本，确保任务难度适中且覆盖多样场景；同时设计无偏的问答模板，避免语言提示误导模型；此外，还需标注精确的ground truth标签并验证样本质量，以保障基准的公平性与可重复性。

常用场景

经典使用场景

MIHBench作为多图像幻觉基准测试集，专门设计用于评估多模态大语言模型在多图像场景下的理解能力与幻觉倾向。该数据集包含3200个精心构建的样本，涵盖计数、存在性判别等四大任务，每个样本由2至4张来自COCO数据集的图像组成，要求模型基于多图信息进行二分类判断。研究者通常利用该基准系统性地测试模型对物体数量一致性、跨图像存在性映射等核心能力的掌握程度，从而揭示模型在多视觉输入融合过程中产生的典型幻觉模式。

衍生相关工作

MIHBench的发布催生了一系列围绕多图像幻觉检测与缓解的经典研究工作。在模型评估层面，研究者基于该基准开发了专门的多图像视觉一致性校验方法和跨图像语义对齐算法；在训练策略方面，衍生出针对多图输入的抗幻觉正则化技术和面向少样本多图理解的对比学习框架。此外，该数据集还启发了针对自定义图像组合场景的扩散式幻觉测试工具，以及将MIHBench任务范式迁移至视频帧序列理解的研究方向，共同推动着多模态系统向更稳健、更可靠的方向演化。

数据集最近研究

最新研究方向

MIHBench作为多图像幻觉评估基准，聚焦于多模态大语言模型在多图像场景下的视觉理解与幻觉检测能力。该数据集通过设计计数、对抗性存在性、常见存在性及随机存在性四项精细任务，系统性地揭示了当前前沿视觉-语言模型在处理同类目标数量比较、罕见目标混淆等复杂多图像推理时的脆弱性。其研究意义在于推动了多模态模型评估范式从单图像转向多图像交互场景，为缓解模型在真实应用中的“虚假感知”问题提供了关键测试平台，并与近期备受关注的AI幻觉治理、多图像推理可信性等热点议题紧密关联。