HalluScope

HalluScope是由索邦大学与Valeo.ai联合开发的多模态诊断基准数据集，旨在系统分析大型视觉语言模型（LVLM）中幻觉现象的产生根源。该数据集包含从COCO图像库精选的3,000张语义多样性样本，每张图像标注有实际存在物体、随机不存在物体及对抗性不存在物体三类对象，并通过四类问题（正向识别、随机识别、对抗识别及对抗预设属性）评估模型表现。数据构建采用两阶段验证流程结合对象共现图分析，重点关注文本指令先验与视觉证据的冲突。该数据集主要应用于多模态AI可靠性研究，为解决LVLM因过度依赖语言先验导致的幻觉问题提供诊断工具。

HalluScope is a multimodal diagnostic benchmark dataset jointly developed by Sorbonne University and Valeo.ai, designed to systematically analyze the root causes of hallucinations in Large Vision-Language Models (LVLMs). This dataset includes 3,000 semantically diverse samples curated from the COCO image dataset. Each image is annotated with three categories of objects: physically present objects, randomly non-existent objects, and adversarially non-existent objects, and is used to evaluate model performance across four types of evaluation tasks: positive recognition, random non-existent object recognition, adversarial non-existent object recognition, and adversarial preset attribute-based tasks. The dataset is constructed via a two-stage verification workflow combined with object co-occurrence graph analysis, with a core focus on the conflict between textual instruction priors and visual evidence. This dataset is primarily applied in multimodal AI reliability research, serving as a diagnostic tool to address hallucinations in LVLMs caused by over-reliance on linguistic priors.

原始信息汇总

根据您提供的数据集详情页面内容，以下是关键信息的总结：

数据集名称

HalluScope

数据集类型

基准测试（Benchmark），用于系统研究大型视觉-语言模型（LVLM）中幻觉的产生原因。

研究背景

现有评估基准（如POPE、CHAIR、SHR、MMHAL-Bench）无法区分幻觉的不同来源，包括感知失败、对象共现先验以及指令引入的预设。

核心功能

HalluScope 旨在解耦三种不同的幻觉成因：

1. 感知失败（Perception Failures）：模型是否能正确看到图像中的内容。
2. 共现先验（Co-occurrence Priors）：模型是否幻觉出统计上可能但实际不存在的物体。
3. 指令预设（Instruction Presuppositions）：模型是否遵循提示中引入的错误假设。

主要发现

使用 HalluScope 发现，现代 LVLM 中的幻觉主要源于过度依赖文本指令预设和学习到的语义先验，而非视觉感知能力的限制。

相关方法

基于 HalluScope 的分析，提出了一个微调框架 HalluVL-DPO，该框架基于样本信息量加权的直接偏好优化（DPO）变体，通过构建包含偏好（视觉基础）和拒绝（幻觉）响应的训练数据集，引导模型生成更基于视觉的响应，从而减少特别是指令驱动的幻觉。

搜集汇总

数据集介绍

构建方式

大型视觉语言模型（LVLMs）在复杂多模态任务中虽取得卓越进展，却仍深受幻觉问题困扰——模型常生成与视觉输入不符的内容。为系统解析这一现象的多重根源，HalluScope基准应运而生。其构建首先从COCO数据集中利用K-Center Greedy算法筛选语义多样化的图像子集；随后通过Florence-2与Grounding-DINO的双阶段验证流水线精准识别图像中的物体；再借助点互信息（PMI）分析物体共现模式，发掘语境合理但实际缺失的对抗性物体；最终为每张图像生成四类探测性问题，包括物体存在性判断与隐含预设属性询问，从而实现对不同幻觉诱因的隔离诊断。

特点

HalluScope的核心特色在于其精细化的因果解耦能力。它并非将幻觉视为单一现象，而是通过设计三种识别任务（正例、随机、对抗）及预设属性问题，系统分离视觉感知局限、语义共现偏见与指令隐含预设这三类关键诱因。实验揭示，现代LVLMs的幻觉更多源于对文本指令的过度依赖，而非视觉主干能力的不足——对抗预设属性任务的性能相较于基线模型降幅可达86%，这一发现清晰凸显出文本先验在驱动幻觉中的主导作用。因此，HalluScope不仅是评估工具，更是诊断多模态模型对齐问题的罗盘。

使用方法

HalluScope的使用极为直观。研究者可直接加载基准中的图像与配套问题集，针对模型在正例识别、随机识别、对抗识别及对抗预设属性任务上的表现进行逐项评估。正例与随机识别性能用于衡量视觉感知的可靠性；对抗识别准确率的下降则揭示语义共现偏见的干扰；而对抗预设属性任务的准确率——即模型正确拒绝隐含假设的回答比例——成为衡量文本指令先验影响的核心指标。评估过程可通过提供明确的是/否响应或开放属性回答完成，并使用预定义LLM对输出中的预设遵循程度进行自动化判断，从而精准定位模型的故障模式。

背景与挑战

背景概述

随着大型视觉语言模型（LVLM）在图像描述、视觉推理与指令跟随等多模态任务中取得卓越进展，其潜在的可信度问题，特别是视觉幻觉现象，引起了学界广泛关注。由法国索邦大学ISIR实验室与Valeo.ai的Pegah Khayatan等人于2026年提出的HalluScope基准数据集，旨在系统解耦LVLM幻觉的不同成因。传统评测基准如POPE、CHAIR等仅衡量输出是否正确，却无法区分幻觉究竟源于视觉感知局限、习得的对象共现先验，还是文本指令预设的错误引导。HalluScope通过精细设计的多类问题，揭示了当视觉编码能力日益增强时，模型幻觉的主导因素已转向对文本语用先验的过度依赖，为该领域提供了诊断性分析工具，并对后续视觉语言对齐研究产生了深远影响。

当前挑战

HalluScope所针对的核心挑战在于：现有LVLM评测体系无法有效区分幻觉的多重成因，导致难以精准定位模型的行为缺陷。具体而言，传统基准未能区分感知失败、共现知识驱动与指令预设引发的幻觉，从而使诊断与缓解方法均缺乏针对性。在构建过程中，该数据集面临两大技术难题：其一，需利用目标检测与基础模型结合验证，精准识别图像中存在的物体、无关物体以及语义可信但实际缺失的对抗性物体，以保证评测的严谨性；其二，生成隐含假设的对抗性预设问题，即通过语言构造诱导模型反映对物体存在的错误预判，要求问题自然且能有效触发预设驱动的幻觉。这些挑战促使HalluScope在设计上高度依赖多阶段验证流水线与语义分析，以确保其作为诊断基准的敏感性和特异性。

常用场景

经典使用场景

在大型视觉-语言模型（LVLM）的幻觉研究中，HalluScope最经典的使用场景是作为诊断性基准测试，用于系统性地分离和量化不同因素对模型幻觉的贡献。该基准通过设计四类针对性问题——正物体识别、随机物体识别、对抗物体识别和对抗预设属性问题，能够精确评估模型在视觉感知、语义共现先验和文本指令预设依赖这三个层面的表现。研究者可利用HalluScope揭示现代LVLM中幻觉主要由文本指令而非视觉感知缺陷驱动的本质，从而深入理解跨模态对齐问题的核心挑战。

解决学术问题

HalluScope解决了现有幻觉评估基准（如POPE、CHAIR、MMHal-Bench）无法区分不同幻觉成因的关键学术问题。传统基准仅衡量输出层面的正确性，难以揭示幻觉究竟是源于视觉骨干网络的感知限制、模型对物体共现统计的依赖，还是文本指令中隐含的预设假设。通过引入对抗性预设和共现分析，HalluScope首次系统性地解耦了这些因素，证明了即使在视觉骨干网络表现良好的情况下，模型输出仍主要受文本先验主导，这一发现为后续将幻觉缓解问题重新定义为模态间对齐问题奠定了理论基础。

衍生相关工作

HalluScope衍生了HalluVL-DPO这一偏好优化框架，该框架利用基于样本信息量的加权直接偏好优化算法，通过构建大规模偏好数据集（包含预设问题、物体存在性查询和详细描述三类任务）来针对性缓解由文本指令预设引发的幻觉。该工作还探索了多种偏好对构建策略（如对比提示增强、事后幻觉注入和模型辅助答案反转），并系统分析了训练数据规模、偏好对类型消融以及跨模型迁移性，为LVLM幻觉缓解研究提供了完整的评估-诊断-优化闭环框架。