MM-Hallu/MRHal-Bench

MRHal-Bench是一个多级偏好幻觉基准测试数据集，包含100个多轮对话视觉问答（VQA）样本，这些样本标注了细粒度的幻觉类型（存在、属性、描述）。数据集的特征包括图像、样本ID、图像名称、以JSON格式编码的幻觉类型列表标签，以及以JSON格式编码的多轮对话内容。

MRHal-Bench is a Multi-level Preference Hallucination Benchmark with 100 multi-turn conversational VQA samples annotated with fine-grained hallucination types (existence, attribute, describe). The dataset features include images, sample IDs, image names, JSON-encoded hallucination type list labels, and JSON-encoded multi-turn conversations.

搜集汇总

数据集介绍

构建方式

MRHal-Bench是一个专为评估多模态大语言模型幻觉现象而设计的基准数据集。其构建基于多轮视觉问答对话，涵盖了100个精心筛选的样本。每个样本均包含图像、唯一标识符、文件名、幻觉类型标签以及多轮对话记录。其中，幻觉类型标签采用JSON编码，细粒度地标注了存在性、属性与描述三类幻觉。对话记录同样以JSON格式编码，确保了数据的高结构化与可解析性，为模型的鲁棒性评估提供了严谨的测试基础。

特点

该数据集的核心特点在于其多级偏好评估机制与细粒度的幻觉类型标注。相比于传统的二元幻觉检测，MRHal-Bench通过定义存在性、属性与描述三种具体类别，实现了对模型生成内容中不真实信息的精准透视。此外，其多轮对话形式模拟了真实交互场景，使评估更贴近实际应用。数据集规模虽仅含100个样本，但追求质量而非数量，每一条数据都经过精心设计与验证，确保了基准测试的有效性与代表性。

使用方法

此数据集主要面向视觉问答任务，旨在评估多模态模型在多轮对话中产生幻觉的倾向。使用时，研究人员可直接加载HuggingFace上的数据，其结构包含图像字段与JSON编码的对话字符串。评估过程可采用逐轮比较的方式，通过比对模型输出与数据集中标注的幻觉类型，计算模型在不同幻觉类别上的表现。由于数据集已划分为测试集并支持parquet格式快速读取，便于集成至现有的自动化评测流程中，有效衡量模型在细粒度幻觉上的稳定性与可靠性。

背景与挑战

背景概述

MRHal-Bench数据集由研究者Mengxi Zhang等机构于近期构建，专注于多模态大语言模型中的幻觉现象评估。该数据集旨在解决视觉问答（VQA）任务中模型生成内容与图像事实不符的关键问题，通过精细化的幻觉类型标注（存在性、属性、描述）为模型行为分析提供基准。相较于传统二分类幻觉检测，MRHal-Bench引入多层级偏好标注与多轮对话场景，揭示了模型在持续交互中累积错误的复杂性。其100个精心设计的样本虽规模有限，但填补了领域内细粒度幻觉评估标准的空白，推动模型从简单正确性向可信赖性演进的范式转变。

当前挑战

数据集面临的核心挑战集中于两大方面：其一，在领域问题层面，多模态大模型生成的幻觉具有高度隐蔽性与多样性，如存在性幻觉（虚构物体）、属性幻觉（误判颜色/形状）和描述幻觉（不准确的上下文关联），传统评估方法难以系统量化这些差异。其二，在构建过程中，多轮对话的连续性导致幻觉错误叠加，标注者需在交互流中精准定位首次偏差而非孤立评判单轮回答；同时，细粒度标签体系要求对每轮回答同时标注类型、位置及严重程度，人工一致性控制成为显著瓶颈。此外，仅100个样本的规模限制了统计显著性，未来需扩展至更广泛的视觉场景与对话长度。

常用场景

经典使用场景

MRHal-Bench作为多层级偏好幻觉基准数据集，专为评估多模态大语言模型在多轮对话视觉问答中的幻觉现象而设计。其核心使用场景在于系统化检测模型在存在性、属性描述和场景描述三类幻觉上的表现，通过细粒度的标注结构，为研究者提供了量化分析模型幻觉倾向与分布特征的标准工具。

衍生相关工作

基于MRHal-Bench，学界衍生出多项具有影响力的研究方向。例如，利用其细粒度标签训练幻觉检测分类器，实现对话过程中的实时幻觉预警；亦或以此为评估框架，提出针对多轮对话中幻觉缓解的数据增强与推理策略。此外，该基准启发了面向对话连贯性的抗幻觉微调方法，推动了将偏好学习与鲁棒性训练相结合的研究范式发展。

数据集最近研究

最新研究方向

在多模态大语言模型的可信度评估领域，幻觉现象抑制已成为核心攻关方向。MRHal-Bench作为首个聚焦多层次偏好对齐的幻觉基准数据集，通过100个多轮对话视觉问答样本，系统标注了存在性、属性与描述三类细粒度幻觉类型，为量化评估模型在视觉信息错误生成、物体属性误判及场景描述偏差等关键问题上的表现提供了标准化测试平台。该数据集的提出恰逢多模态模型从简单感知向复杂推理演进的关键时期，其对多轮交互中幻觉累积效应的精细化建模，不仅填补了现有基准对偏好对齐与幻觉类型关联性评估的空白，更推动了视觉语言模型在医疗影像解读、自动驾驶场景理解等高风险应用中向可信、可解释方向的发展。