PKU-Alignment/MM-SafetyBench

MM-SafetyBench 数据集是一个包含多个子数据集的综合数据集，每个子数据集针对不同的应用场景，如经济伤害、金融建议、欺诈等。每个子数据集都包含问题、图片和相关标识符等信息，并且根据不同的数据类型和错误类型（如拼写错误）进行划分。数据集适用于研究用途，受特定的非商业许可协议约束。

MM-SafetyBench dataset is a comprehensive dataset containing multiple sub-datasets, each targeting different application scenarios such as economic harm, financial advice, fraud, etc. Each sub-dataset includes questions, images, and related identifiers, and is divided according to different data types and error types (such as spelling mistakes). The dataset is intended for research purposes and is subject to a specific non-commercial license agreement.

搜集汇总

数据集介绍

构建方式

MM-SafetyBench是专为评估多模态大语言模型安全性而构建的基准数据集，覆盖经济危害、欺诈、仇恨言论等13个高风险场景。每个场景包含四类测试样本：纯文本问题、通过Stable Diffusion生成的图像-文本对、带有拼写错误的图像-文本对、以及仅含拼写错误的文本。这种设计旨在系统性地检验模型在视觉与文字信息交织下的安全响应能力。

特点

该数据集独具匠心地将安全风险细化为13个具体的子领域，每个子领域均衡提供约百个样本，确保评估的全面性与粒度。尤为特别的是，通过引入图像模态和拼写错误变体，MM-SafetyBench能够揭示模型在多模态输入和文本噪声条件下的脆弱性，为安全对齐研究提供了多维度的测试环境。

使用方法

研究人员可通过HuggingFace Datasets库加载各子配置（如EconomicHarm），选用SD、SD_TYPO、TYPO或Text_only分片进行针对性测试。典型用法是向多模态模型输入图像-文本对，观测其是否生成不安全内容，从而量化模型在特定风险维度上的防御能力，推动安全对齐技术的改进。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）的飞速发展，其在图像理解与文本生成融合任务中展现出卓越能力，然而模型在安全对齐方面的脆弱性也日益凸显。MM-SafetyBench由北京大学团队于2023年构建，旨在系统评估MLLMs在面对恶意视觉输入时的鲁棒性。该数据集覆盖13个敏感场景，如经济危害、欺诈、仇恨言论及隐私侵犯等，通过将文本形式的危险问题与对抗性图像结合，揭示了模型在跨模态安全推理中的深层缺陷。作为首个聚焦多模态安全评测的基准，MM-SafetyBench填补了传统文本安全测试的空白，为模型部署前的风险评估提供了关键工具，其影响力已延伸至AI伦理治理与可信赖机器学习领域。

当前挑战

MM-SafetyBench所应对的核心挑战在于多模态模型易被视觉模态诱导而绕过文本安全防线，例如将恶意指令嵌入图像后，模型可能忽略文本层面的拒绝机制。数据集构建过程中面临多重困难：首先，需从13个敏感维度精准设计兼具语义合理性与安全威胁性的图文对，避免数据本身引发伦理争议；其次，通过Stable Diffusion生成图像时需控制风格多样性（如SD、SD_TYPO等变体），以模拟真实世界中文字拼写错误或视觉干扰对模型判断的影响；此外，平衡各场景样本数量（44至167例不等）以确保评测全面性，同时严格遵循GPT-4与Stable Diffusion的许可协议，在合规框架下完成数据采集与标注。

常用场景

经典使用场景

MM-SafetyBench作为多模态安全评测领域的标杆性数据集，其经典应用场景聚焦于评估视觉语言模型在敏感内容生成任务中的鲁棒性与合规性。该数据集通过构建涵盖经济危害、欺诈、仇恨言论、隐私侵犯等13个高风险维度的图文问答对，并设计纯文本、稳定扩散生成图像、含文字干扰图像及手写文字图像四种模态变体，系统性地检验模型在面对恶意诱导查询时的拒绝响应能力。研究者常以此基准测试模型是否能在多模态输入下坚守安全边界，避免生成违法、歧视或有害内容。

实际应用

在实际部署中，MM-SafetyBench为内容审核系统、智能客服机器人及教育辅助工具等应用提供了关键的安全验证工具。企业可借助该数据集模拟恶意用户通过上传含诱导文字的图片来绕过文本过滤的攻击场景，从而测试和加固模型对金融欺诈建议、医疗误诊引导或政治敏感内容的防御能力。该数据集还助力开发者在产品上线前进行多模态安全压力测试，降低因模型输出不当内容引发的法律与伦理风险。

衍生相关工作

基于MM-SafetyBench的评测框架，衍生出一系列关于多模态安全对齐的经典工作。研究者们借鉴其13类风险分类体系，构建了更细粒度的安全基准如SafeBench-M，并引入对抗性图像扰动技术来探索模型的安全边界。部分工作则聚焦于改进视觉语言模型的安全训练策略，例如通过对比学习强化模型对图像中恶意文字的语义理解，或设计多模态安全奖励模型来优化强化学习对齐过程。这些衍生研究共同推动了多模态安全领域从被动检测向主动防御的技术跃迁。