MM-Hallu/JourneyBench

JourneyBench的幻觉评估子集。包含608个问答对，使用AI生成的新颖场景图像，探测对象存在和属性方面的幻觉。

Hallucination evaluation subset from JourneyBench. 608 QA pairs with AI-generated novel scene images, probing for hallucination in object existence and attributes.

搜集汇总

数据集介绍

构建方式

JourneyBench数据集源自2024年arXiv上的同名研究工作，旨在系统评估多模态大语言模型中的幻觉现象。该数据集的核心构建方式依托于人工智能生成的创新场景图像，而非传统的自然图像采集。具体而言，研究团队利用先进图像生成模型，合成了一系列包含特定物体存在性与属性特征的虚构场景图片。基于这些图像，他们精心设计了608对问答对（QA pairs），每一对均标注了目标检测的幻觉类型，包括物体存在性幻觉和属性幻觉两类，从而构建了一个针对幻觉评估的高效基准测试集。

使用方法

该数据集的使用主要面向多模态视觉语言模型的幻觉评估任务。用户需加载Hugging Face上的JourneyBench配置，获取包含图像、问题、标准答案和幻觉类型标注的数据样本。评价方法采用精确率（Accuracy）指标，通过自由文本匹配（free-text matching）将模型输出与给定的答案列表进行比对。典型应用流程为：输入图像及对应问题，收集模型生成的文本回答，并与预定义的标准答案集合进行匹配计算，从而量化模型在该基准上的幻觉表现。数据遵循CC-BY 4.0许可协议，允许广泛使用与分享。

背景与挑战

背景概述

JourneyBench数据集由研究团队于2024年提出，旨在评估多模态视觉语言模型中的幻觉现象。该数据集源自arXiv预印本论文《JourneyBench》，核心研究问题聚焦于模型在处理AI生成的新颖场景图像时，对物体存在性及属性的认知偏差。数据集中包含608对基于视觉问答（VQA）的样本，每对由AI生成的虚构场景图像、关联问题及标准答案构成，按幻觉类型与图像类型进行标注。作为多模态幻觉评估的基准，JourneyBench填补了现有数据集在复杂场景下细粒度幻觉检测的空白，为视觉语言模型的可靠性研究提供了关键测试平台，尤其在生成式AI快速发展的背景下，对推动模型鲁棒性提升具有重要影响。

当前挑战

JourneyBench面临的挑战首先体现在所解决的领域问题上：多模态视觉语言模型在理解AI生成的非真实场景时，常出现物体存在性误判（如虚构物体被错误识别）或属性混淆（如颜色、形状描述偏离实际），传统评估方法难以系统量化此类幻觉。其次，构建过程中的挑战在于：需通过AI工具生成场景图像并设计关联问题，确保样本既具备新颖性又覆盖多种幻觉类型；同时，标准答案的标注需严格区分合理推断与错误幻觉，避免因图片歧义性导致噪声。此外，数据集规模有限（<1K样本），如何在有限数据下保证评估的统计显著性，并防止模型因数据唯一性而过拟合，也是实际应用中亟待解决的问题。

常用场景

经典使用场景

在多模态大模型迅猛发展的浪潮中，视觉幻觉问题如同一片挥之不去的阴霾，严重制约着模型在真实世界中的可信应用。JourneyBench数据集应运而生，它由608个人工智能生成的创新场景图像与对应的问答对构成，精心设计用于探测模型在物体存在性和属性识别方面的幻觉倾向。其最经典的使用场景在于作为一套标准化的幻觉评估基准，通过让多模态模型回答关于虚构场景中物体及其属性的问题，精准度量模型是否在未见过的、对抗性构造的情境下依然产生与视觉输入不符的虚假描述。这种新颖的对抗性样本评估方式，为衡量和对比不同视觉语言模型的鲁棒性与忠实性提供了严谨的量化工具。

解决学术问题

长期以来，学术界在评估多模态模型幻觉时，多依赖于自然图像或人工标注的简单场景，这些数据集难以揭示模型在面对完全未知、违反常识的虚构场景时的认知失谐。JourneyBench精准地填补了这一空白，系统性地解决了如何高效、可控地诱发和量化视觉语言模型在物体存在性与属性方面的幻觉这一关键学术难题。通过引入AI生成的异质性场景，该数据集迫使模型无法依赖训练数据中的统计捷径，从而暴露出其底层视觉理解与语言生成之间的真实脱节。其深远意义在于，它为后续研究者提供了一个稳定的锚点，用以剖析幻觉产生的内在机理，推动了从现象描述向机制解释的研究范式转变。

实际应用

在实际应用层面，JourneyBench的价值体现在对视觉语言模型质量管控流程的革新。借助该数据集的严格评估，模型开发团队可以在部署前有效过滤出那些在安全敏感任务中容易产生虚构信息的模型版本，例如在自动驾驶场景中对路标或障碍物的错误断言，或在医疗影像分析中对病灶的不实陈述。此外，该数据集还可以作为持续监控的测试集，用于追踪模型迭代过程中幻觉程度的变化趋势，帮助工程师在提升模型生成能力的同时，确保其输出与视觉输入的高度一致性。在内容审核、自动化报告生成等依赖于精确视觉描述的实际系统中，JourneyBench的应用有效降低了误导性信息传播的风险。

数据集最近研究

最新研究方向

JourneyBench作为2024年提出的多模态幻觉评估基准，聚焦于视觉语言模型在AI生成虚构场景中的物体存在性与属性幻觉检测，通过608个细粒度问答对揭示模型在非真实画面中的认知偏差。该数据集的前沿价值在于构建了首个系统性针对生成式图像幻觉的评估框架，与当前多模态大模型在AIGC安全、可信推理等热点领域的研究深度耦合。其核心意义在于为模型幻觉诊断提供标准化测试平台，推动视觉理解从真实场景向未知情境的泛化能力研究，对提升生成式AI在医疗影像分析、自动驾驶仿真等高风险应用的可靠性具有关键影响。