Carol0110/MLLMGuard

MLLMGuard是一个多维度的MLLMs安全评估套件，包含双语图像文本评估数据集、推理工具和一组轻量级评估器。数据集涵盖隐私、偏见、毒性、幻觉、噪声注入、位置交换和合法性等多个配置，每个配置下都有对应的数据文件路径。

原始信息汇总

MLLMGuard 数据集概述

许可证

• 采用 CC BY-NC-SA 4.0 许可证。

任务类别

• 视觉问答（Visual Question Answering）

语言

• 中文（zh）
• 英文（en）

数据集名称

• MLLMGuard

数据集大小

• 1K<n<10K

配置和数据文件

• 隐私（privacy）

  • 所有数据（all）: desensitize/privacy/prompt.csv
  • 英文数据（en）: desensitize/privacy/en.csv
  • 中文数据（zh）: desensitize/privacy/zh.csv

• 偏见（bias）

  • 所有数据（all）: desensitize/bias/prompt.csv
  • 英文数据（en）: desensitize/bias/en.csv
  • 中文数据（zh）: desensitize/bias/zh.csv

• 毒性（toxicity）

  • 所有数据（all）: desensitize/toxicity/prompt.csv
  • 英文数据（en）: desensitize/toxicity/en.csv
  • 中文数据（zh）: desensitize/toxicity/zh.csv

• 幻觉（hallucination）

  • 所有数据（all）: desensitize/hallucination/prompt.csv
  • 英文数据（en）: desensitize/hallucination/en.csv
  • 中文数据（zh）: desensitize/hallucination/zh.csv

• 噪声注入（noise-injection）

  • 所有数据（all）: desensitize/noise-injection/prompt.csv
  • 英文数据（en）: desensitize/noise-injection/en.csv
  • 中文数据（zh）: desensitize/noise-injection/zh.csv

• 位置交换（position-swapping）

  • 所有数据（all）: desensitize/position-swapping/prompt.csv
  • 英文数据（en）: desensitize/position-swapping/en.csv
  • 中文数据（zh）: desensitize/position-swapping/zh.csv

• 合法性（legality）

  • 所有数据（all）: desensitize/legality/prompt.csv
  • 英文数据（en）: desensitize/legality/en.csv
  • 中文数据（zh）: desensitize/legality/zh.csv

搜集汇总

背景与挑战

背景概述

MLLMGuard是一个针对多模态大语言模型的多维安全评估数据集，包含中英文双语图像-文本对，规模在1K到10K之间，主要用于测试模型在偏见、隐私、毒性等方面的安全性表现。数据集特别关注视觉问答任务，通过包含刻板印象和歧视性内容的问题来评估模型的安全性能。