VLSU

VLSU基准测试提供了全面的多模态安全评估，包括8,187个图像-文本对，带有三个维度的人类注释：仅图像、仅文本和联合安全。包含17种严重性组合和15个分类类别，用于全面覆盖危害。

The VLSU benchmark provides a comprehensive multimodal safety evaluation, containing 8,187 image-text pairs with human annotations across three dimensions: image-only, text-only, and joint safety. It includes 17 severity combinations and 15 classification categories to comprehensively cover various hazards.

原始信息汇总

VLSU 数据集概述

数据集简介

VLSU 是一个用于评估多模态人工智能安全性的基准数据集。该数据集旨在揭示多模态模型在联合理解图像与文本内容以进行安全判断时的根本性弱点。

关键特性

• 核心问题：暴露多模态AI安全的基本弱点——模型能分别识别不安全的图像和文本，但当安全性源于两者的组合时则会失败。
• 规模：包含 8,187 个图像-文本对。
• 标注：所有样本均包含人工标注，涵盖三个维度：仅图像安全、仅文本安全以及联合（图像-文本）安全。
• 安全谱系：覆盖 17 种严重性组合，涵盖完整的安全谱系。
• 危害类别：包含 15 个分类学类别，以实现全面的危害覆盖。

数据内容与结构

• 数据文件：主数据文件位于 https://github.com/apple/ml-vlsu/blob/main/data/VLSU.csv。
• 数据模式：
  • uuid：唯一样本标识符。
  • web_path：可下载的图像URL。
  • prompt：与图像配对的文本提示。
  • image_grade：仅图像安全严重性。
  • consensus_text_grade：仅文本安全严重性。
  • consensus_combined_grade：联合图像-文本安全严重性。
  • *_category：安全分类学类别（若安全则为空）。

辅助工具

• 实用脚本：https://github.com/apple/ml-vlsu/tree/main/utils/ 文件夹包含从URL下载图像的脚本。

许可信息

• 代码许可：Apple Sample Code License (ASCL) (https://github.com/apple/ml-vlsu/blob/main/LICENSE)
• 数据许可：CC-BY-NC-ND (https://github.com/apple/ml-vlsu/blob/main/LICENSE_DATA)

引用

如需使用本数据集或认为此工作相关，请引用：

@article{palaskar2025vlsu, title={VLSU: Mapping the Limits of Joint Multimodal Understanding for AI Safety}, author={Palaskar, Shruti and Gatys, Leon and Abdelrahman, Mona and Jacobo, Mar and Lindsey, Larry and Moharir, Rutika and Lund, Gunnar and Xu, Yang and Shiee, Navid and Bigham, Jeffrey and others}, journal={arXiv preprint arXiv:2510.18214}, year={2025} }

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，构建能够精确反映多模态联合理解能力的数据集至关重要。VLSU数据集的构建过程体现了严谨的学术规范，其核心在于通过人工标注创建了8,187个图像-文本对。每个样本均从三个独立维度进行安全评估：仅图像、仅文本以及图像与文本的联合状态。数据集覆盖了15种不同的危害类别和17种安全严重性组合，旨在系统性地映射安全风险在多模态交互中的涌现现象。数据采集后经过严格的共识标注流程，确保了评估维度的完整性与标注结果的一致性。

特点

VLSU数据集的特点在于其专注于揭示多模态人工智能在安全理解上的根本性局限。该基准测试的核心发现是，模型在处理单一模态时可能表现出色，但在需要联合推理时性能显著下降，这突显了组合性安全风险的评估盲区。数据集规模庞大且分类体系精细，不仅涵盖了广泛的安全谱系，还通过明确的严重性组合与危害类别，为深入分析模型在跨模态语境下的安全判断失败模式提供了结构化基础。其设计精准地捕捉了良性内容在组合后可能转化为有害内容这一关键安全缺口。

使用方法

为有效利用VLSU数据集进行多模态安全研究，研究者可从提供的CSV文件开始。数据文件包含了每个样本的唯一标识符、图像下载链接、配对文本提示以及三个维度的安全严重性标注。使用附带的工具脚本可以便捷地下载和管理图像数据。在评估模型时，建议分别测试模型在图像单独、文本单独以及二者联合情况下的安全分类性能，并对比其差异以量化联合理解缺陷。该数据集适用于评测现有模型的局限性，亦可用于训练下一代具备组合安全推理能力的人工智能系统。

背景与挑战

背景概述

随着多模态人工智能技术的飞速发展，模型在图像与文本的联合理解与安全评估方面面临严峻考验。VLSU（Visual-Language Safety Understanding）数据集由Apple等机构的研究团队于2025年创建，旨在系统性地探究多模态AI在安全感知中的局限性。该数据集的核心研究问题是揭示模型在单独处理图像或文本时表现优异，却在需要跨模态组合推理时出现显著性能下降的根本缺陷。通过涵盖15种危害类别和17种安全模式的8,187个图像-文本对，VLSU为评估多模态系统的组合安全性提供了大规模基准，对推动AI安全领域的可靠性与可解释性研究具有重要影响力。

当前挑战

VLSU数据集致力于解决多模态AI安全评估中的核心挑战，即模型对组合性安全风险的识别不足。具体而言，当图像与文本分别呈现为良性内容，但其结合却可能产生有害含义时，现有模型往往无法进行有效的联合推理，导致严重的误判。在构建过程中，研究团队面临标注一致性与范畴覆盖的挑战，需确保人类标注者能准确评估跨模态交互所衍生的复杂安全等级，并建立涵盖广泛危害类型的细粒度分类体系。此外，数据集的创建还需平衡不同安全严重程度的样本分布，以真实反映模型在多样化场景下的性能边界。

常用场景

经典使用场景

在人工智能安全领域，多模态模型的安全评估已成为研究焦点。VLSU数据集通过精心构建的8,187个图像-文本对，为评估模型在联合多模态理解上的安全极限提供了标准化基准。其经典使用场景在于系统性地测试模型对组合安全性的判断能力，即当图像和文本单独呈现时均属良性，但结合后可能产生有害含义的情形。研究者利用该数据集可量化模型在图像单独、文本单独及联合模态下的安全分类性能，从而揭示模型在多模态推理中存在的根本性缺陷。

衍生相关工作

围绕VLSU数据集，已衍生出一系列关注多模态安全前沿的经典研究工作。其基准构建方法论启发了后续对更复杂模态组合（如视频-音频）的安全性评估。相关研究深入探究了指令微调、提示工程等干预措施对模型安全边界的影响，并尝试通过架构改进或训练范式创新来弥合单模态与多模态安全性能之间的差距。这些工作共同拓展了可信多模态人工智能的研究疆域，为构建能够理解上下文并做出安全判断的下一代模型奠定了理论基础。

数据集最近研究

最新研究方向

在人工智能安全领域，多模态理解能力的评估正成为前沿焦点。VLSU数据集通过构建大规模图像-文本对基准，揭示了当前模型在联合多模态安全推理中的根本性缺陷：尽管模型能分别准确识别图像或文本中的安全隐患，但当安全风险仅从两者的组合中显现时，其性能显著下降。这一发现凸显了组合推理失败这一关键问题，即模型无法有效整合跨模态信息以识别潜在危害。相关研究正聚焦于探索如何弥合单模态与多模态安全评估之间的性能差距，并深入分析指令框架设计对模型过度屏蔽与拒绝不足等安全权衡的影响。该数据集为开发更鲁棒的多模态安全系统提供了重要基准，推动了人工智能在复杂真实场景中安全部署的理论与实践进展。