vlms-are-biased

大型语言模型（LLMs）从互联网上记忆了大量先验知识，这些知识有助于下游任务，但也可能臭名昭著地使它们的输出偏向错误或有偏见的答案。在这项工作中，我们测试了关于流行主题的知识如何影响视觉语言模型（VLMs）在标准、客观的视觉任务（如计数和识别）上的准确性。我们发现，最先进的VLMs存在强烈的偏见（例如，无法识别Adidas标志中增加的第四个条纹），在7个不同领域的计数任务中平均准确率仅为17.05%。

Large Language Models (LLMs) memorize a vast amount of prior knowledge from the Internet, which aids downstream tasks but also notoriously biases their outputs toward incorrect or biased answers. In this work, we investigate how knowledge about popular topics affects the accuracy of Vision-Language Models (VLMs) on standard, objective visual tasks such as counting and object recognition. We find that state-of-the-art VLMs exhibit strong biases, for instance failing to recognize the added fourth stripe in the Adidas logo, and achieve an average accuracy of only 17.05% across counting tasks in seven distinct domains.

原始信息汇总

Vision Language Models are Biased 数据集概述

📌 数据集背景

• 研究主题：测试视觉语言模型(VLMs)在标准视觉任务（计数和识别）中的准确性，揭示其受流行主题知识影响的偏见问题。
• 核心发现：当前最先进的VLMs存在强烈偏见（例如无法识别Adidas标志从3条纹变为4条纹），在7个不同领域的计数任务中平均准确率仅为17.05%。

📊 数据集内容

• 覆盖领域：

  • 国际象棋棋子（非常规起始位置）
  • 游戏棋盘（围棋/象棋/数独的维度变化）
  • 光学错觉（Ebbinghaus/Müller-Lyer等6种类型）
  • 图案网格（骰子图案/计数标记中的异常单元）
  • 动物（哺乳动物4→5腿，鸟类2→3腿）
  • 品牌标志：
    • 鞋类：Nike（1→2钩）、Adidas（3→4条纹）
    • 汽车：Maserati（3→5叉）、Mercedes-Benz（3→4星）、Audi（4→5环）
  • 旗帜（星型/条纹旗帜的±1元素变化）

• 数据特征：

  • 提供两种版本：无标题图像（notitle）和含标题图像（in_image_title）
  • 所有图像生成三种分辨率：384px/768px/1152px

🛠 技术实现

• 生成工具：

  • 主脚本：main.py（生成基础图像）
  • 标题添加：add_titles.py
  • 模块化生成器：位于generators/目录下的各领域专用脚本

• 快速使用： bash

  生成国际象棋数据集

  python main.py --chess_pieces python add_titles.py --topic chess_pieces

  生成全部数据集

  python main.py --all python add_titles.py --topic all

📥 获取方式

• Hugging Face仓库：https://huggingface.co/datasets/anvo25/vlms-are-biased
• 项目主页：https://vlmsarebiased.github.io
• 论文链接：https://arxiv.org/abs/2505.23941

📜 引用格式

bibtex @misc{vlmsarebiased, title={Vision Language Models are Biased}, author={An Vo and Khai-Nguyen Nguyen and Mohammad Reza Taesiri and Vy Tuong Dang and Anh Totti Nguyen and Daeyoung Kim}, year={2025}, eprint={2505.23941}, archivePrefix={arXiv}, primaryClass={cs.LG} }

搜集汇总

数据集介绍

构建方式

在视觉语言模型（VLMs）研究领域，vlms-are-biased数据集通过系统化的方法构建，旨在揭示模型在处理视觉任务时存在的认知偏差。研究者设计了7个多样化领域的任务，包括动物、标志、棋盘游戏、光学幻觉等，通过生成对抗性图像（如修改Adidas标志的条纹数量）来测试模型的鲁棒性。所有图像均以384px、768px和1152px三种分辨率生成，并采用自动化脚本（如chess_pieces_generator.py）确保数据生成的标准化和可复现性。

特点

该数据集的核心价值在于其精心设计的认知偏差测试框架。包含两类独特数据变体：无文本提示的基础图像（notitle）和嵌入主题名称的对抗图像（in_image_title），后者能显著降低模型准确率。覆盖的领域具有高度多样性，从抽象的棋盘布局到具象的动物肢体数量修改，每个任务均针对VLMs的先验知识弱点进行定制。特别值得注意的是，数据集揭示了模型在简单计数任务中平均仅17.05%准确率的显著缺陷，为评估模型抗偏置能力提供了量化基准。

使用方法

研究者可通过Hugging Face平台直接获取完整数据集，或使用项目开源代码自定义生成测试数据。运行main.py脚本可批量生成所有领域的基础图像，而add_titles.py则为图像添加误导性文本增强对抗性。针对特定研究需求，用户可灵活选择子模块（如optical_illusion_generator.py）生成特定类型的测试样本。数据集采用分层目录结构存储，清晰区分原始图像与文本增强版本，便于不同实验场景的调用和分析。

背景与挑战

背景概述

随着多模态人工智能技术的快速发展，视觉语言模型（VLMs）在图像理解和文本生成任务中展现出卓越性能，然而其潜在的认知偏差问题逐渐引起学界关注。由KAIST、William & Mary学院等机构联合研发的vlms-are-biased数据集于2025年发布，旨在系统评估VLMs在计数与识别等基础视觉任务中受先验知识干扰的程度。该数据集涵盖国际象棋、光学错觉、品牌标识等7个领域，通过构建反事实图像（如为三叶草标志添加第四片叶子）揭示模型对流行概念的固有偏见，为多模态模型的鲁棒性研究提供了重要基准。

当前挑战

该数据集核心挑战体现在两个维度：在领域问题层面，需解决视觉语言模型因过度依赖文本先验知识导致的视觉感知失真，例如模型面对修改后的阿迪达斯条纹标志时仍坚持原始认知；在构建过程中，需精确设计跨领域的反事实样本以触发模型偏见，同时保持图像语义合理性，如为四足动物生成第五腿时需确保解剖结构协调。多分辨率图像生成（384px-1152px）与文本标签嵌入的技术实现，进一步增加了数据集的构建复杂度。

常用场景

经典使用场景

在视觉语言模型（VLM）的研究领域，vlms-are-biased数据集被广泛用于评估模型在计数和识别任务中的偏差表现。通过生成包含异常元素的图像（如添加条纹的商标或修改肢体数量的动物），研究者能够系统地测试模型对常见对象的先验知识如何影响其判断准确性。该数据集覆盖了国际象棋、光学错觉、商标设计等7个领域，为多模态模型的鲁棒性分析提供了标准化测试平台。

衍生相关工作

该数据集已催生多项关于视觉语言模型去偏的重要研究，包括基于对比学习的知识解耦框架和注意力机制改进方案。部分工作专注于开发新型评估指标，如将原始图像与反事实图像的预测差异量化为偏差系数。另有研究扩展了数据集的应用维度，通过引入文化符号和地域性标志来探究模型偏见的社会影响因素，推动了AI公平性研究的发展。

数据集最近研究

最新研究方向

在视觉语言模型（VLMs）的研究领域，关于模型偏见性的探讨正成为学术界关注的焦点。最新研究表明，VLMs在处理标准视觉任务时，如计数和识别，表现出显著的偏见性，这种偏见源于模型对流行主题的先验知识过度依赖。研究团队通过构建包含动物、标志、棋盘游戏、光学幻觉等多样化领域的测试数据集，揭示了VLMs在计数任务中的平均准确率仅为17.05%。这一发现不仅凸显了VLMs在实际应用中的局限性，也为模型偏见性的量化评估提供了自动化框架。当前的研究方向集中在探索VLMs偏见的深层机制，以及开发更鲁棒的训练策略以减少偏见对模型性能的影响。这一领域的进展对于提升VLMs的可靠性和公平性具有重要意义，特别是在医疗诊断、自动驾驶等关键应用场景中。