MSSBench

该数据集包含了1,820组语言查询-图像对，其中一半的图像背景是安全的，另一半则是不安全的。这样的设计旨在评估多模态大型语言模型（MLLMs）在情境安全性方面的表现。此外，该数据集被用于分析关键的安全方面，包括显式安全推理、视觉理解以及情境安全推理。该数据集的规模为1,820组，其任务是评估MLLMs在情境安全性方面的性能。

This dataset contains 1,820 language query-image pairs, with half of the images featuring safe backgrounds and the other half featuring unsafe ones. This design aims to evaluate the contextual safety performance of Multimodal Large Language Models (MLLMs). Additionally, this dataset is utilized to analyze key security aspects, including explicit safety reasoning, visual understanding, and contextual safety reasoning. With a total size of 1,820 pairs, its core task is to assess the contextual safety performance of MLLMs.

搜集汇总

背景与挑战

背景概述

MSSBench是一个包含1,820组语言查询-图像对的数据集，其中安全与不安全背景图像各占一半，专门设计用于评估多模态大型语言模型在情境安全性方面的性能表现，并分析其显式安全推理、视觉理解等关键安全能力。