MM-SafetyBench-plus-plus

MM-SafetyBench++ 是一个用于评估多模态大语言模型（MLLMs）上下文安全性的基准数据集。该数据集通过为每个不安全的图像-文本对创建对应的安全版本（通过最小修改翻转用户意图但保持上下文含义），来挑战模型区分视觉或文本相似但安全意图迥异场景的能力。数据集包含2,844个测试样本，涵盖非法活动、仇恨言论等多个危害类别。每个样本包含图像、问题、类别、标签和模式等字段。该数据集旨在评估模型是否能基于深层上下文理解而非关键词触发或常见视觉模式来调整安全行为。