MMSafeAware

我们介绍了MMSafeAware，这是第一个全面的多模态安全意识基准测试，旨在通过1,500个精心策划的图像-提示对来评估MLLMs在29个安全场景中的表现。MMSafeAware包括不安全子集和过度安全子集，以评估模型正确识别不安全内容并避免过度敏感的能力。We introduce MMSafeAware, the first comprehensive multimodal safety awareness benchmark designed to evaluate the performance of ML Large Language Models (MLLLMs) across 29 safety scenarios using 1,500 meticulously crafted image-prompt pairs. MMSafeAware encompasses both unsafe subsets and over-safe subsets to assess the model's ability to correctly identify unsafe content and avoid over-sensitivity.

原始信息汇总

多模态安全意识基准测试数据集 (MMSafeAware)

数据集概述

• 名称: MMSafeAware (Multimodal Safety Awareness Benchmark)
• 用途: 评估多模态大语言模型(MLLMs)在安全场景下的表现
• 特点: 首个全面的多模态安全意识基准测试
• 研究状态: 研究专用(Research Use Only)

数据集内容

• 场景数量: 29个安全场景
• 数据规模: 1,500个精心挑选的图像-提示对
• 数据组成:
  • 不安全内容子集
  • 过度安全子集

评估发现

• 主要问题:
  • 当前模型安全性不足
  • 存在过度敏感问题
• 示例结果: GPT-4V将36.1%的不安全输入误判为安全，59.9%的良性输入误判为不安全

相关论文

• 标题: Cant See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs
• 会议: ACL 2025
• arXiv链接: https://arxiv.org/abs/2502.11184

引用格式

bibtex @article{wang2025can, title={Cant See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs}, author={Wang, Wenxuan and Liu, Xiaoyuan and Gao, Kuiyi and Huang, Jen-tse and Yuan, Youliang and He, Pinjia and Wang, Shuai and Tu, Zhaopeng}, journal={arXiv preprint arXiv:2502.11184}, year={2025} }

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，MMSafeAware数据集通过系统化的构建流程确立了新的基准标准。研究团队精心设计了29类安全场景，采用多模态数据融合策略，构建了包含1,500个图像-提示词对的高质量样本库。数据集特别设置了不安全内容和过度安全两个子集，通过专家标注和交叉验证确保每个样本的准确性和代表性，为评估多模态大语言模型的安全意识能力提供了可靠基础。

特点

作为首个专注于多模态安全意识的基准测试集，MMSafeAware展现出鲜明的专业特性。数据集覆盖了广泛的安全场景，其独特的双维度评估框架能同时检测模型对危险内容的识别能力和对良性内容的误判率。实证研究表明，即使是GPT-4V这样的先进模型，在36.1%的不安全样本和59.9%的安全样本上仍存在判断偏差，凸显了该数据集在揭示模型安全缺陷方面的敏感性和有效性。

使用方法

该数据集为研究人员提供了标准化的多模态安全评估工具。使用者可通过加载预设的图像-提示词对，系统测试目标模型在不同安全场景下的响应表现。评估过程重点关注模型对危险内容的漏报率和安全内容的误报率两个关键指标，配套的评分体系支持量化比较不同模型的性能差异。为确保研究规范性，数据集明确限定仅供学术研究使用，禁止任何形式的滥用行为。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）的快速发展，其在安全感知方面的表现成为学术界和工业界关注的焦点。MMSafeAware作为首个综合性多模态安全感知基准测试数据集，由Wenxuan Wang等研究人员于2025年提出，旨在系统评估MLLMs在29种安全场景下的表现。该数据集包含1,500个精心筛选的图像-提示对，涵盖不安全内容和过度安全敏感两种情况，为研究多模态模型的安全识别能力提供了标准化评估框架。MMSafeAware的出现填补了多模态安全评估领域的空白，其研究成果发表于ACL 2025会议，为后续相关研究奠定了重要基础。

当前挑战

MMSafeAware数据集面临的核心挑战主要体现在两个方面：在领域问题层面，当前MLLMs对多模态内容的安全识别存在显著不足，如GPT-4V对36.1%的不安全输入误判为安全，同时对59.9%的良性输入过度敏感，反映出模型在安全与实用性之间的平衡难题；在构建过程中，研究人员需要精确界定29种安全场景的边界，确保样本的代表性和多样性，同时处理图像与文本模态间的复杂关联，这些都对数据标注和质量控制提出了极高要求。

常用场景

经典使用场景

在人工智能领域，多模态大语言模型（MLLMs）的安全意识评估日益受到重视。MMSafeAware作为首个全面的多模态安全意识基准测试数据集，被广泛用于评估模型在29种安全场景下的表现。研究者通过1,500个精心筛选的图像-提示对，测试模型对不安全内容的识别能力以及对过度敏感性的控制，从而为模型优化提供科学依据。

解决学术问题

MMSafeAware解决了多模态大语言模型在安全评估中缺乏标准化基准的难题。通过涵盖广泛的安全场景，该数据集帮助研究者量化模型在不安全内容识别上的准确性和过度敏感性的发生率。例如，研究发现GPT-4V将36.1%的不安全输入误判为安全，同时59.9%的良性输入被错误标记为不安全，为模型改进提供了明确方向。

衍生相关工作

MMSafeAware的发布推动了多模态安全领域的多项研究。基于该数据集，学者们开发了新的评估指标和优化方法，进一步探索模型在不同安全场景下的行为模式。相关研究不仅扩展了多模态安全的理论框架，也为后续更复杂的安全基准测试奠定了基础。