MM-Hallu/R-Bench

用于评估大型视觉语言模型(LVLMs)中关系幻觉的基准测试数据集。包含关注对象间关系的图像级别和实例级别问题。

Benchmark for evaluating relationship hallucinations in LVLMs. Features image-level and instance-level questions focusing on inter-object relationships.

搜集汇总

数据集介绍

构建方式

R-Bench数据集专为评估大型视觉语言模型（LVLMs）中的关系幻觉现象而构建。其构建过程融合了图像级与实例级两类问题，核心聚焦于对象间交互关系的精准表征。每一数据样本均包含输入图像、题目标识、关于图像中对象关系的提问、标准答案、问题类型、难度层级、主体对象及其边界框、目标对象及其边界框等多元结构化字段。数据来源遵循MIT开源许可协议，以parquet格式存储，涵盖约数万条样本，旨在提供一个系统化的基准评测平台。

特点

该数据集最显著的特点在于其独特的双层次问题设计，即宏观的图像级提问与微观的实例级提问并行，从而覆盖了关系认知的不同粒度。所有问题严格围绕对象间关系展开，直接针对LVLMs易产生幻觉的薄弱环节。每个样本均附有明确的边界框坐标，支持细粒度的空间关系推理。数据集规模设计在万级区间，兼顾了评测的全面性与计算资源的可行性，为衡量模型在复杂视觉关系理解上的真实能力提供了标准化参照。

使用方法

使用者可直接通过Hugging Face数据集库加载R-Bench，指定配置名称'default'并读取'train'分片下的parquet文件。在模型评测中，可依据'question'字段输入图像与问题，将模型输出与'label'字段标注的标准答案进行比对。此外，可按'level'字段筛选图像级或实例级问题子集进行分层评测，亦可依据'qtype'字段按问题类型分组分析模型在不同关系维度上的表现。该数据集适用于多模态模型的幻觉检测与关系推理能力验证研究。

背景与挑战

背景概述

R-Bench是由研究人员构建的一个专门用于评估大型视觉语言模型（LVLMs）中关系幻觉现象的基准数据集，其核心研究问题聚焦于模型对图像中物体间关系的准确理解与描述能力。该数据集创建于近期，由mrwu-mac团队开发并开源于GitHub，旨在弥补现有视觉问答（VQA）基准在细粒度关系推理评估上的不足。R-Bench通过引入图像级（image-level）和实例级（instance-level）两类问题，系统性地测试LVLMs对空间、属性及交互等关系的感知与表达，对推动多模态模型的可信度与鲁棒性具有重要影响。

当前挑战

R-Bench所解决的领域挑战在于LVLMs普遍存在的关系幻觉问题，即模型在描述物体间空间位置、属性关联或动作交互时，可能生成与图像事实不符的文本。构建该数据集面临的主要挑战包括：1) 需要精确定义并涵盖多样化的关系类型，如“在…之上”、“属于…一部分”等，以确保评估的全面性；2) 在标注过程中，必须为每个关系实例提供准确的边界框（bounding box）与标准答案，这对人工标注的精确性和一致性提出了极高要求，尤其是处理遮挡、多物体重叠等复杂场景时。

常用场景

经典使用场景

R-Bench数据集专为评估大型视觉语言模型中的关系幻觉现象而设计。该数据集通过构建图像级和实例级两类问题，聚焦于对象间空间、语义及交互关系的精细理解。研究者借助R-Bench能够系统性地测试模型在描述图像内容时，是否错误地生成或省略了对象之间的真实关联，从而量化和揭示模型在关系推理方面的脆弱性。这一基准为开发更可靠的视觉语言模型提供了关键测试工具。

解决学术问题

R-Bench有效解决了当前视觉语言模型评估中一个被长期忽视的关键问题——关系幻觉的量化检测。学术研究表明，现有模型虽在全局描述上表现优异，却常虚构或曲解物体间的具体关系，导致生成内容不可靠。R-Bench通过提供细粒度的关系标注和明确的问答格式，使研究者能够准确测量不同模型在空间定位、属性关联及逻辑关系等维度上的幻觉程度，推动了视觉语言理解评估范式从粗粒度全局匹配向细粒度关系验证的演进。

衍生相关工作

R-Bench的提出催生了多个关联研究方向与工作。一方面，基于该基准，研究者设计了专门的关系去幻觉训练策略和细粒度注意力校正模块，例如利用R-Bench识别出的典型错误案例来构建反事实训练样本，从而提升模型的关系鲁棒性。另一方面，该数据集启发了后续关于视觉语言模型内部表示中关系编码机制的分析工作，以及将R-Bench的评估框架扩展至视频与多模态交互场景的延伸基准，形成了以关系真实性为核心的模型评估与改进闭环。