MM-Hallu/WhatColorIsIt

这是一个用于测试视觉语言模型是否依赖视觉证据或被矛盾文本干扰的多模态幻觉基准数据集。包含1,500张256x256像素的图像，图像上显示带有冲突颜色名称文本的彩色补丁。数据集分为三种类型：color_type1-5（带有冲突颜色名称文本的彩色补丁）、mask_type1-5（带有冲突文本的遮罩彩色补丁）和simple_type1-5（无文本干扰的简单彩色补丁）。数据集包含21种颜色，并提供了准确性、文本干扰抵抗率等评估指标。

Text-interference multimodal hallucination benchmark. 1,500 images (256x256) display colored patches with conflicting color name text overlaid, testing whether models rely on visual evidence or are fooled by contradictory text. The dataset is divided into three types: color_type1-5 (color patches with conflicting color name text), mask_type1-5 (masked color patches with conflicting text), and simple_type1-5 (simple color patches without text interference). It includes 21 colors and provides evaluation metrics such as accuracy and text-interference resistance rate.

搜集汇总

数据集介绍

构建方式

WhatColorIsIt数据集的构建根植于视觉与语言模态间的冲突性交互研究，旨在评估多模态大模型在面对文本干扰时的鲁棒性。该数据集包含1,500张256x256像素的RGB图像，每张图像展示一个彩色色块，其上覆盖有与该色块真实颜色名称相矛盾的文本标签。图像依据干扰类型划分为三大类共15个子集：color_type1-5（色块上叠加冲突色名文本）、mask_type1-5（对色块进行部分遮掩后叠加冲突文本）以及simple_type1-5（无文本干扰的纯色块作为基线）。每个子集包含100张图像，覆盖21种常见颜色，所有干扰文本从相同颜色集合中随机选取，确保视觉证据与文本线索的对立。

特点

该数据集的核心特点在于其精心设计的文本-视觉冲突机制，直接针对多模态模型中的颜色幻觉现象进行压力测试。每张图像不仅记录了真实颜色（label）和干扰色名（name_label），还保存了背景色与标注文本颜色（background_color与question_color），为分析模型对颜色语义和视觉特征的依赖程度提供了细粒度控制变量。此外，数据集通过引入mask类型进一步考察模型在部分视觉信息缺失时的决策倾向，而simple类型则作为无干扰对照。这种多层次结构使得WhatColorIsIt成为评估模型抗文本干扰能力与视觉鲁棒性的独特基准。

使用方法

使用WhatColorIsIt数据集时，研究者需加载预定义的parquet文件，其中包含图像及其元数据字段。标准的评估流程涉及向多模态模型依次输入各子集图像，并提问“What color is it?”，随后收集模型输出中的颜色名称。评估指标聚焦于准确率（Accuracy）和文本干扰抵抗率（Text-interference resistance rate），通过将模型预测与ground-truth颜色标签进行精确匹配来计算。特别地，研究者可对比color与simple子集的结果以量化文本干扰的影响，或利用mask子集分析模型在视觉信息不完整情况下的表现。该数据集托管于Apache-2.0许可下，便于学术复现与扩展。

背景与挑战

背景概述

在视觉-语言模型（VLM）迅猛发展的背景下，模型在处理多模态信息时往往难以抵御文本干扰，产生颜色幻觉现象。为系统评估这一能力缺陷，2025年发表于arXiv的研究团队创建了名为“WhatColorIsIt”的数据集，该数据集由1,500张精心设计的256×256像素图像构成，每张图像包含彩色色块与冲突性颜色名称文本。通过对比分析模型在有无文本干扰下的颜色识别表现，该数据集为探究多模态幻觉现象提供了标准化的评估基准，对推动视觉-语言模型的鲁棒性研究具有重要意义。

当前挑战

该数据集旨在应对两大核心挑战。其一，多模态模型中常见的颜色幻觉问题，即模型容易被叠加的冲突性文本诱导，忽视视觉证据而输出错误颜色答案，这严重制约了模型在需要精确视觉理解的现实应用中的可信度。其二，在构建过程中需精准控制颜色与文本的对应关系，确保每个样本的干扰强度一致，同时需设计不同干扰类型（如掩码干扰与无干扰）以全面测试模型鲁棒性，这要求在数据集规模化与评估系统性之间取得平衡。

常用场景

经典使用场景

在视觉语言模型迅猛发展的当下，多模态系统常因文本干扰而产生色彩幻觉，WhatColorIsIt数据集恰如其分地填补了这一评估空白。该数据集包含1500幅精心设计的256x256图像，每幅图像呈现带有冲突颜色名称文本的色块，旨在系统性地检测模型是否依赖视觉证据抑或被矛盾文本误导。其经典使用场景聚焦于评估模型在面对文本干扰时的色彩识别稳健性，通过对比带文本干扰的color_type分裂、部分遮蔽的mask_type分裂以及无文本干扰的simple_type分裂，研究者可精准量化模型对视觉信息的依赖程度，为多模态幻觉检测提供了标准化测试平台。

衍生相关工作

WhatColorIsIt的发布催生了一系列富有启发性的衍生工作。研究者基于该数据集开发了文本干扰抵抗率这一新型评估指标，并对比分析了CLIP、LLaVA等主流视觉语言模型的脆弱性，发现超过70%的模型在冲突条件下倾向于服从文本而非视觉输入。后续工作包括设计对抗性提示增强训练策略以削弱语言模态的主导地位，以及构建多模态因果推理框架来强制模型优先验证视觉证据。此外，该数据集的经验被推广至物体颜色、形状与背景的复合干扰场景，形成了更全面的幻觉评估基准族，深刻影响了多模态鲁棒性研究的方向。

数据集最近研究

最新研究方向

该数据集聚焦于多模态视觉语言模型在颜色感知中的文本干扰幻觉现象，揭示模型在处理视觉与文本线索冲突时的脆弱性。前沿研究方向包括通过构建不同掩码和干扰类型的子集（如color_type与mask_type），系统度量模型对视觉证据的依赖程度与抗干扰能力。结合大语言模型在视觉问答任务中广泛出现的幻觉问题，该数据集为评估和缓解多模态模型的认知偏差提供了关键基准，推动了更可靠视觉理解系统的研发，对提升自动驾驶、辅助视觉等应用的安全性具有深远意义。