OODCV-VQA, Sketchy-VQA

本研究介绍了一个名为OODCV-VQA和Sketchy-VQA的数据集，用于评估视觉语言模型（VLLMs）在分布外（OOD）场景和对抗性攻击下的安全性。OODCV-VQA包含4244个样本，用于测试模型在罕见图像条件下的表现。Sketchy-VQA则专注于评估模型处理抽象草图的能力。这些数据集通过模拟真实世界中不常见的视觉输入，帮助研究人员理解VLLMs在复杂和挑战性环境下的性能。

This study introduces two datasets, namely OODCV-VQA and Sketchy-VQA, for evaluating the safety of Vision-Language Models (VLLMs) under out-of-distribution (OOD) scenarios and adversarial attacks. OODCV-VQA consists of 4,244 samples, which is designed to test model performance under rare image conditions. Sketchy-VQA, by contrast, focuses on evaluating models' capability to handle abstract sketches. These datasets, by simulating uncommon visual inputs in the real world, assist researchers in comprehending the performance of VLLMs in complex and challenging environments.

搜集汇总

数据集介绍

构建方式

在视觉语言模型安全评估领域，OODCV-VQA与Sketchy-VQA数据集的构建体现了对分布外泛化能力的系统性考察。OODCV-VQA基于OODCV图像库，通过预定义模板生成涉及物体存在性与数量统计的问答对，覆盖纹理、姿态、形状等七类分布外场景，并引入反事实描述变体以增强文本复杂性。Sketchy-VQA则利用手绘草图数据集，筛选高频与低频物体类别，通过自动化模板生成二值判断问题，构建了包含抽象视觉信息的评估实例。

特点

该数据集的核心特点在于其多维度的安全评估架构。OODCV-VQA专注于模型对非常规视觉内容与反事实文本指令的协同理解能力，揭示了视觉语言模型在分布外图像识别与逻辑推理间的性能差异。Sketchy-VQA则通过简笔草图这一信息稀疏的视觉形式，检验模型在有限视觉线索下的物体辨识与语义关联能力。两者共同构成了对模型鲁棒性与泛化性的双重挑战，尤其凸显了语言输入在跨模态任务中的关键作用。

使用方法

数据集的使用需遵循严格的评估协议。研究者可将OODCV-VQA与Sketchy-VQA作为基准测试集，输入待评估的视觉语言模型，通过自动化指标计算模型在各类分布外场景下的准确率与F1分数。对于反事实变体，需特别关注模型在文本逻辑扰动下的性能衰减程度。此外，数据集可与对抗攻击模块结合，开展误导性输出与越狱攻击的综合性安全测试，从而全面衡量模型在复杂现实场景中的可靠性与安全性。

背景与挑战

背景概述

随着视觉大语言模型在复杂多模态任务中展现出卓越潜力，其安全性与鲁棒性评估成为亟待探索的前沿议题。OODCV-VQA与Sketchy-VQA数据集由加州大学圣克鲁兹分校、北卡罗来纳大学教堂山分校等机构的研究团队于2023年联合构建，旨在系统评估VLLMs在分布外场景下的泛化能力与对抗鲁棒性。该研究聚焦于模型在非常规视觉内容（如异常纹理、抽象草图）及反事实文本指令下的表现，通过构建结构化安全评估基准，揭示了当前VLLMs在视觉理解与语言推理间的能力失衡现象，为多模态安全研究提供了关键实证基础。

当前挑战

该数据集核心挑战体现在两大维度：在领域问题层面，VLLMs需应对分布外视觉内容的精确识别（如草图物体计数）与反事实语言指令的逻辑推理双重难题，现有模型普遍存在对文本扰动敏感度高、视觉抽象信息解析能力不足的缺陷。在构建过程中，研究团队面临跨模态数据对齐的复杂性挑战，包括从OODCV和草图数据集中筛选语义连贯的图像-问题对，并设计自动化模板生成反事实变体以保持逻辑一致性，同时需确保对抗样本在视觉编码器攻击中的可迁移性验证，这些技术难点共同构成了多模态安全评估的实质性壁垒。

常用场景

经典使用场景

在视觉大语言模型（VLLMs）的安全评估领域，OODCV-VQA与Sketchy-VQA数据集被广泛应用于测试模型在分布外场景下的鲁棒性。这些数据集通过构建包含罕见纹理、异常姿态或抽象草图等非常规视觉内容的问答对，系统性地评估VLLMs对非常规视觉信息的理解能力。例如，模型需回答关于水下火车或简笔线条绘制的物体数量问题，从而揭示其在面对训练数据分布之外的视觉模式时，是否仍能保持准确的视觉推理能力。

解决学术问题

该数据集有效解决了视觉-语言多模态研究中两个核心问题：一是模型对分布外视觉与文本输入的泛化能力不足，二是现有安全评估体系缺乏系统性。通过引入反事实文本描述与抽象草图等挑战性样本，数据集揭示了VLLMs在视觉理解与语言逻辑结合处的脆弱性，例如模型虽能识别异常图像却易被反事实问题误导。这一工作为量化模型安全边界提供了标准化基准，推动了多模态安全评估从单一任务测试向综合风险分析的范式转变。

衍生相关工作

基于该数据集的安全评估框架，衍生出一系列针对多模态模型脆弱性的深入研究。例如，有工作扩展了对抗攻击策略，通过联合优化视觉编码器与语言模块的对抗样本，实现更高效的模型误导；另有研究聚焦于安全对齐训练，利用数据集中揭示的视觉-语言协议冲突，开发出能同时保持性能与安全性的微调方法。这些工作共同构建了从基准测试到防御机制设计的完整研究链条，显著提升了社区对多模态系统安全性的认知维度。