MM-Hallu/RAH-Bench

RAH-Bench是一个用于评估视觉语言模型（VLMs）中物体幻觉现象的基准数据集。该数据集包含3,000个关于COCO val2017图像的二元是/否问题，这些问题根据幻觉类型（如属性、类别、关系等）进行了分类。每个问题都有对应的图像、唯一的问题ID、COCO图像ID、问题文本、真实标签（“是”或“否”）以及幻觉类别。数据集的评估指标包括准确率、精确率、召回率和F1分数。数据来源于arXiv 2023年的一篇论文。

RAH-Bench is a benchmark for evaluating object hallucination in VLMs. It consists of 3,000 binary yes/no questions about COCO val2017 images, categorized by hallucination type. Each question includes an image, a unique question ID, a COCO image ID, the question text, a ground truth label ("yes" or "no"), and the hallucination category. Evaluation metrics include Accuracy, Precision, Recall, and F1. The data originates from a 2023 arXiv paper.

搜集汇总

数据集介绍

构建方式

RAH-Bench旨在系统评估视觉语言模型中的对象幻觉现象，其构建基于COCO val2017图像数据集，精心设计了3000个二元是非问题。每个问题均配备唯一的标识符、对应的COCO图像ID、原始图像、咨询查询、真实标签以及幻觉类型分类。数据集的标签分为“yes”和“no”两类，其中1500个问题答案为“yes”，另1500个问题答案为“no”并且细分为属性、类别和关系三种幻觉子类型，各占500个。这些问题的设计严格参照相关学术论文提出的评估框架，确保评估的全面性与准确性。

特点

该数据集的核心特色在于其对对象幻觉的精细化分类和结构化评估。通过属性幻觉（attribute）、类别幻觉（category）和关系幻觉（relation）三大类型，能够深入诊断视觉语言模型在不同维度上的幻觉倾向。每个问题均以“是/否”二值判断形式呈现，简化了评估流程，同时引入了准确率、精确率、召回率和F1分数等量化指标，支持多角度性能比较。数据规模适中（3,000个样本），兼顾了评估效率与统计显著性，适用于快速迭代的模型验证场景。

使用方法

使用RAH-Bench时，研究者需将模型在每张COCO图像上对相应问题进行回答，输出“yes”或“no”的文本。随后，利用内置的解析器提取二元结果，与数据集中提供的真实标签进行比对。通过计算准确率、精确率、召回率及F1分数等指标，量化模型在各幻觉类型上的表现。该数据集以Parquet格式存储于Hugging Face，加载时可指定默认配置，便于集成至现有的视觉语言模型训练与评测流水线。此外，Apache-2.0许可证允许自由使用与分发，促进了社区内的标准化评估与基准研究。

背景与挑战

背景概述

RAH-Bench数据集于2023年由研究团队提出，旨在系统评估视觉语言模型（VLM）中的物体幻觉现象。该基准聚焦于多模态模型对COCO val2017图像进行二元是非问答时的幻觉行为，覆盖属性、类别和关系三类幻觉型态。利用3000个精心构造的问题，RAH-Bench为量化模型幻觉程度提供了标准化评测框架。其发布对于推动多模态系统在高风险场景下的可靠性研究具有深远影响，已成为幻觉检测领域的重要参考标杆。

当前挑战

RAH-Bench核心解决的领域挑战是视觉语言模型中普遍存在的物体幻觉现象，即模型生成内容与图像事实不一致，严重制约了多模态系统在医疗、自动驾驶等场景的部署可信度。构建过程中的挑战包括：需要平衡三类幻觉分布以模拟真实错误模式，确保问题标签的客观准确以避免引入标注偏差，以及通过多轮专家审核和交叉验证来提升基准数据的信度与效度。

常用场景

经典使用场景

在视觉语言模型（VLM）蓬勃发展的当下，物体幻觉（Object Hallucination）已成为制约模型可信度的核心瓶颈。RAH-Bench数据集应运而生，专门用于评估视觉语言模型在生成描述或回答问题时，是否输出图像中不存在的物体或错误属性。该数据集包含3000个二元是非问题，均基于COCO val2017图像精心构建，覆盖属性、类别与关系三类幻觉范畴，为研究者提供了标准化的测试基准。经典使用场景即是对各类视觉语言模型进行幻觉检测能力的系统评估，通过计算准确率、精确率、召回率与F1分数等指标，量化模型在避免生成不实内容方面的表现。

衍生相关工作

RAH-Bench的发布催生了一系列视觉语言模型幻觉缓解与评估的后续研究。许多工作以其为基础，提出反事实数据增强方法以减少幻觉（如HALC）、设计对比学习框架来增强模型对负例的感知（如OPERA），以及构建多维度幻觉诊断树（如HaluEval）等。此外，该数据集被广泛用作跨模型比较的标准参照，研究者常在其基础上扩展出更细粒度的幻觉类型标注（如细粒度属性幻觉集），或将其融入统一评测框架（如MME、POPE），形成了以RAH-Bench为核心的视觉幻觉评测生态圈。

数据集最近研究

最新研究方向

RAH-Bench作为评估视觉语言模型中对象幻觉现象的前沿基准，其研究方向聚焦于揭示多模态模型在图像理解中的真实性偏差。通过构建3000个精细化分类的二值问题（涵盖属性、类别与关系三类幻觉场景），该数据集推动了模型对COCO验证集图像中物体存在性的精确判断能力研究。当前热点关联大型语言模型与视觉编码器融合时产生的虚假对象生成问题，其提出的分层评估体系为诊断模型在开放场景下的可靠性提供了关键度量标准，对提升自动驾驶、医疗影像等高风险领域的人机协同决策具有深远影响。