MM-Hallu/CP-Bench

CP-Bench是一个用于评估视觉语言模型在检测幻觉方面能力的反事实预设基准数据集。包含1,500个视觉问答对，涉及1,180张独特图像，测试模型是否能正确识别问题中的反事实预设。数据集包含两种问题类型：反事实预设问题（cpq）和真实预设问题（tpq），每种类型各750个问题。数据集的字段包括图像、图像名称、查询（自然语言问题）和标签（问题类型）。评估指标包括F1分数、准确率、精确率和召回率，使用GPT-4o作为评判标准。

Counterfactual Presupposition Benchmark for evaluating hallucination detection in VLMs. 1,500 VQA pairs across 1,180 unique images, testing whether models correctly identify counterfactual presuppositions in questions. The dataset includes two types of questions: counterfactual presupposition questions (cpq) and true presupposition questions (tpq), with 750 each. Fields include image, image name, query (natural language question), and tag (question type). Evaluation metrics include F1-Score, Accuracy, Precision, and Recall, using GPT-4o as Judge.

搜集汇总

数据集介绍

构建方式

CP-Bench数据集的构建源自对视觉语言模型（VLM）在幻觉检测任务中能力评估的迫切需求。该基准测试精心搜集了1,180张独特图像，并在此基础上生成了1,500个视觉问答对。每个问答对均包含一张图像、一个自然语言问题以及一个标签字段。标签用以区分两种问题类型：预设性反事实问题（cpq），其预设内容在图像中并不存在；以及真预设问题（tpq），其预设内容在图像中真实存在。通过这种对称的构建方式，CP-Bench旨在系统性地测试模型识别与处理误导性预设的能力。

特点

CP-Bench数据集的显著特点在于其专门聚焦于反事实预设的检测，这在现有基准中极为罕见。它提供了数量均衡的750个cpq和750个tpq样本，确保了评估的全面性与公正性。数据集规模适中，介于1,000至10,000之间，既保证了统计显著性，又降低了评估成本。此外，所有样本均配有专业标注的问题类型标签，使得研究者和开发者能够深入分析模型在不同预设条件下的表现差异，从而揭示模型在幻觉检测方面的细微弱点。

使用方法

使用CP-Bench进行模型评估时，研究者需让视觉语言模型对每一个问答对生成开放式回答。随后，利用GPT-4o作为评判者，基于模型的输出自动分类其是否正确识别了问题的预设性质。具体而言，对于cpq问题，模型应明确探测到预设的虚假性；对于tpq问题，模型则应正常回答。最终性能指标包括F1分数、准确率、精确率与召回率。这种自动化的评估流程确保了结果的可复现性与客观性。

背景与挑战

背景概述

在大规模视觉语言模型（VLMs）蓬勃发展的当下，幻觉检测已成为确保模型可靠性的关键议题。2025年，CP-Bench数据集应运而生，由相关研究团队基于arXiv预印本工作提出，专注于评估视觉语言模型在理解图像与语言交互中的反事实预设识别能力。该数据集包含1,500个视觉问答对，跨越1,180张独特图像，通过精心设计的反事实预设问题与真实预设问题，系统性地检验模型能否辨识提问中隐含的错误前提。CP-Bench的推出为幻觉检测领域提供了精细化的评估基准，推动了模型鲁棒性与逻辑一致性的研究进程，对多模态理解领域产生了深远影响。

当前挑战

CP-Bench所应对的首要领域挑战是视觉语言模型在面对反事实预设提问时极易产生幻觉，即模型往往忽略问题中隐含的错误前提而直接作答，暴露出深层的逻辑推理缺陷。这超越了传统的图像分类或视觉问答任务，要求模型具备高层次的语义理解与前提检验能力。在构建过程中，数据集面临的挑战包括如何精准刻画反事实预设的自然语言表达，确保问题与图像内容形成明确的逻辑矛盾而非模糊歧义；同时需要平衡反事实与真实预设问题的数量与难度，避免模型通过统计偏差取巧。此外，基于GPT-4o的自动化评估机制在判定模型响应是否识别预设时，亦需克服评价标准的主观性与一致性难题。

常用场景

经典使用场景

在视觉语言模型（VLM）蓬勃发展的浪潮中，如何精准评估模型对语言中隐含前提的觉察能力，成为检验其鲁棒性与认知深度的关键课题。CP-Bench数据集应运而生，其经典使用场景聚焦于视觉问答中的反事实前提检测任务。该数据集包含1,500组精心构建的问答对，覆盖1,180张独特图像，每个问题被标记为反事实前提（cpq）或真实前提（tpq）。研究者通过让模型回答这些蕴含微妙逻辑陷阱的问题，以考察其能否辨识出提问中隐含的、与图像事实相悖的预设信息，从而评估模型对视觉-语言一致性的高阶理解能力。

衍生相关工作

CP-Bench的发布催生了若干富有启发性的衍生工作。一方面，研究者借鉴其反事实前提分类框架，提出了适用于多模态大模型的‘前提感知训练’策略，通过在常规VQA数据中嵌入对抗性前提样本，提升模型对语言陷阱的辨识力。另一方面，CP-Bench所定义的评估范式（即通过GPT-4o作为评判者分析模型自由回答）被后续工作拓展为通用幻觉检测协议，用于衡量模型在描述、推理等任务中的真实一致性。此外，该数据集还启发了对‘否定理解’与‘因果预设’等更深层语言现象的评测设计，推动视觉语言从‘感知匹配’向‘认知对齐’的研究演进。

数据集最近研究

最新研究方向

CP-Bench作为最新提出的反事实预设基准测试集，聚焦于视觉语言模型中的幻觉检测这一前沿热点。随着多模态大模型在视觉问答任务中的广泛应用，模型对问题中隐含前提的推理能力成为评估其可靠性的关键维度。该数据集精心构建了1500对图像与预设类型各异的问题，其中一半为反事实预设（CPQ），要求模型能够识别出问题中不存在的视觉前提。这一研究方向紧密关联当前大模型可信度与逻辑一致性的核心挑战，为揭示模型在复杂推理场景下的脆弱性提供了标准测试平台，推动了更鲁棒、更可解释的视觉语言系统的发展。