sinwang/SIUO

SIUO数据集是一个用于评估跨模态安全对齐问题的基准数据集。该数据集考虑了单一模态安全但组合后可能导致不安全或不道德输出的情况。数据集涵盖了9个关键安全领域，包括自残、非法活动和隐私侵犯等。通过该数据集，研究人员可以评估现有模型在处理复杂、现实世界场景时的安全性和伦理对齐能力。

The SIUO dataset is a benchmark designed to evaluate cross-modality safety alignment. It addresses scenarios where individual modalities are safe independently but may lead to unsafe or unethical outputs when combined. The dataset covers 9 critical safety domains, such as self-harm, illegal activities, and privacy violations. Researchers can use this dataset to assess the safety and ethical alignment of current models in handling complex, real-world scenarios.

原始信息汇总

SIUO 数据集概述

简介

SIUO 数据集是一个用于评估跨模态安全对齐的基准数据集。该数据集旨在解决单一模态威胁不足以应对复杂跨模态交互的问题。SIUO 数据集包含9个关键安全领域，如自残、非法活动和隐私侵犯等。数据集揭示了现有大型视觉语言模型（LVLMs）在处理复杂现实场景时的安全漏洞。

数据下载

图像数据可以通过以下链接下载：

• Google Drive
• Baidu Netdisk（提取码: siuo）

下载的文件为 SIUO-images.zip。

搜集汇总

背景与挑战

背景概述

sinwang/SIUO是一个跨模态安全对齐评估数据集，包含168个图像样本，用于研究单模态安全但跨模态组合可能引发不安全输出的问题。数据集涵盖9个关键安全领域，如自残、非法活动和隐私侵犯等，适用于评估LVLMs（如GPT-4V和LLaVA）的安全漏洞。