jyjyjyjy/MMS-e

MMS-e数据集旨在评估大型多模态模型（LMMs）在视觉打乱情况下的鲁棒性。数据集包含三种任务：1) 分块问答：将图像分为2x2、4x4和8x8的块，打乱所有块后，测试LMMs回答关于这些图像的问题的能力；2) 重建任务：让LMMs根据图像的标题重建打乱块的顺序，并让LMMs根据图像重建打乱的标题；3) 固定分块问答：将图像分为4x4的块，随机固定一些块，让LMMs基于图像回答问题。数据集目录结构包括与每种任务相关的图像文件夹。

原始信息汇总

数据集概述

数据集名称

MMS-e: Benchmarking the Resilience of Large Multimodal Models to Visual Scrambling

数据集内容

1. Patchwise Question Answering

   • 将图像分割成2x2、4x4和8x8的块，然后打乱所有块，测量大型多模态模型（LMMs）回答这些图像相关问题的能力。
   • 相关图像存放在Patchwise QA/目录下。

2. Reconstruction Task

   • 让LMMs根据图像的标题重建打乱的块顺序，以及根据图像重建打乱的标题。
   • 相关图像存放在Reconstruction/目录下。

3. Fixed Patch Question Answering

   • 将图像分割成4x4的块，随机固定一些块，让LMMs基于图像回答问题。
   • 相关图像存放在Fixed Patch QA/目录下。

数据集结构

• Patchwise QA/: 包含Patchwise Question Answering任务的图像。
• Reconstruction/: 包含Reconstruction任务的图像。
• Fixed Patch QA/: 包含Fixed Patch Question Answering任务的图像。

许可证

MIT