sqrti/SPA-VL

SPA-VL是一个大规模、高质量且多样化的对齐数据集，旨在提高视觉语言模型（VLMs）的安全性对齐。数据集涵盖了6个有害领域、13个类别和53个子类别，包含100,788个样本，每个样本包括问题、图像、选择的回答和拒绝的回答。数据集的目标是在不损害VLMs核心能力的情况下，增强其无害性和帮助性。数据集的结构包括训练、验证和测试部分，每个部分都有详细的字段描述。数据集的创建过程包括从LAION-5B数据集中收集图像，使用Gemini 1.0 Pro Vision生成问题，并从12个不同模型中生成回答，最后通过GPT-4V进行偏好标注。数据集的使用包括直接使用和训练模型，但不应用于生成有害或恶意内容。

SPA-VL is a large-scale, high-quality, and diverse alignment dataset designed to improve the safety alignment of Vision Language Models (VLMs). It covers 6 harmfulness domains, 13 categories, and 53 subcategories, containing 100,788 samples of the quadruple (question, image, chosen response, rejected response). The dataset aims to enhance the harmlessness and helpfulness of VLMs without compromising their core capabilities. It includes images, questions related to the images, chosen responses, and rejected responses, structured into training, validation, and test splits. The dataset is designed with detailed descriptions of the data instances, fields, and splits, as well as information on the dataset creation process, source data, annotations, and considerations for using the data. The dataset is curated by the University of Science and Technology of China, Fudan NLP, and Shanghai Artificial Intelligence Laboratory, and is licensed under CC BY 4.0.

原始信息汇总

数据集许可证信息

• 许可证类型: CC-BY-4.0

搜集汇总

数据集介绍

构建方式

SPA-VL数据集旨在提升视觉语言模型的安全对齐能力，其构建过程严谨而系统。首先，图像素材源自LAION-5B这一广泛认可的开源数据集，并利用CLIP模型针对53个有害内容子类别进行多样化检索，确保视觉背景的丰富性。随后，借助Gemini 1.0 Pro Vision等模型生成覆盖简单、困难及陈述型三种难度的多模态问题。为获得偏好数据，研究团队汇集了包括开源与闭源在内的12种不同视觉语言模型的回答，并利用MD-Judge进行无害性初步筛选，最终由GPT-4V完成偏好标注，形成“选择-拒绝”对。整个流程融合了自动化与人工审核，确保了数据的高质量与多样性。

特点

该数据集具有大规模、高质量与强多样性的显著特点。其包含超过10万组由图像、问题、优选回答与劣质回答构成的四元组样本，覆盖6大危害领域、13个类别及53个子类别，结构层次分明。训练集、验证集与测试集（含危害性与帮助性评估子集）的划分，为模型训练与全面评测提供了坚实基础。尤为重要的是，数据集中精心构建的偏好对不仅考量了回答的无害性，也平衡了帮助性，旨在在不牺牲模型核心能力的前提下，强化其安全对齐效果，体现了对模型实用性与伦理性的双重追求。

使用方法

使用者可通过Hugging Face的datasets库便捷加载SPA-VL数据集。具体而言，调用`load_dataset('sqrti/SPA-VL')`即可获取训练集，指定`'validation'`配置加载验证集，而测试集则分为`'harm'`和`'help'`两个子集，分别用于评估模型对有害查询的拒答能力与对正常查询的帮助性。该数据集特别适用于采用直接偏好优化或近端策略优化等算法进行视觉语言模型的安全对齐训练。研究者亦可直接下载完整压缩包，配合官方仓库中的代码复现实验，从而高效地开展模型安全性的提升与评估工作。

背景与挑战

背景概述

随着多模态大模型在视觉语言任务中的广泛应用，其安全性对齐问题日益凸显。SPA-VL数据集由来自中国科学技术大学、复旦大学自然语言处理实验室和上海人工智能实验室的研究人员于2024年创建，旨在系统性地提升视觉语言模型（VLM）在复杂多模态场景下的无害性与有用性。该数据集覆盖了6大危害领域、13个类别及53个子类别，包含超过10万条由图像、问题、优选与劣质回答构成的四元组样本。通过引入大规模、高质量且多样化的偏好对齐数据，SPA-VL为VLM的安全对齐研究提供了关键基准，显著推动了该领域在模型行为可控性与伦理合规性方向的发展。

当前挑战

SPA-VL所应对的领域挑战在于，现有VLM在开放世界多模态查询中极易产生有害或偏见性响应，缺乏系统性的安全对齐机制。构建过程中面临多重困难：首先，需要从LAION-5B海量数据中筛选出覆盖53个子类别的有害内容图像，并利用CLIP模型确保图文匹配的准确性；其次，需生成涵盖简单、困难及陈述式三种难度等级的问题，以模拟真实攻击场景；最后，来自12种不同VLM的响应需通过MD-Judge与GPT-4V进行偏好标注，在保证无害性与有用性平衡的同时，还需处理模型间回答风格的巨大差异，确保偏好对的质量与多样性。

常用场景

经典使用场景

SPA-VL数据集的核心经典应用场景在于为视觉语言模型（VLM）提供系统性的安全偏好对齐训练。该数据集通过构建包含图像、问题、优选与劣选响应的四元组结构，覆盖六大危害领域、十三个大类和五十三个子类，共计十万余条高质量样本。研究者可借助直接偏好优化（DPO）或近端策略优化（PPO）等强化学习算法，利用该数据集对VLM进行精细调优，从而在保持模型基础能力的同时，显著提升其对多模态查询的无害性与有用性。训练与验证集的明确划分以及测试集中危害与帮助维度的独立评估，使其成为评估VLM安全对齐效果的理想基准。

实际应用

在实际应用中，SPA-VL数据集可被部署于内容审核、智能客服、教育辅导及医疗咨询等对安全性要求极高的场景。例如，在智能客服系统中，利用该数据集微调后的VLM能够有效拒绝生成涉及金融欺诈、暴力引导或隐私侵犯的回复，转而提供符合伦理规范的帮助性信息。在教育领域，模型可避免在解答包含不当图片的提问时输出有害内容，确保青少年用户的使用安全。此外，该数据集还可用于构建多模态内容过滤系统，辅助平台自动识别并拦截潜在的有害图文交互，从而降低人工审核成本并提升网络环境的安全性。

衍生相关工作

SPA-VL数据集衍生了一系列重要的学术工作，推动了多模态安全对齐领域的发展。其核心论文提出了基于偏好对齐的安全优化框架，并公开了在多种VLM上微调后的检查点，为后续研究提供了可复现的基线。基于该数据集，研究者进一步探索了跨模型安全迁移学习，验证了在SPA-VL上训练的偏好对齐策略能够泛化至未见过的模型架构。此外，该数据集还催生了针对多模态对抗样本的鲁棒性研究，以及融合外部知识库的安全推理机制设计。这些衍生工作共同构成了多模态AI安全研究的重要分支，持续推动着相关理论和方法论的创新。