MUIRBENCH/MUIRBENCH

MuirBench是一个包含11,264张图片和2,600个多项选择题的基准数据集，用于评估12种多图像理解任务。该数据集涵盖了多种多图像关系（如叙事、互补等），并通过不可回答实例变体提供了对模型的鲁棒性评估。MuirBench旨在鼓励社区开发能够超越单图像理解的多模态LLMs。

MuirBench is a benchmark dataset consisting of 11,264 images and 2,600 multiple-choice questions, designed to evaluate 12 multi-image understanding tasks. This dataset covers various multi-image relationships such as narrative, complementary, and others, and provides robustness assessment for models through unanswerable instance variants. MuirBench aims to encourage the community to develop multimodal large language models (LLMs) that surpass single-image understanding capabilities.

原始信息汇总

MuirBench 数据集概述

基本信息

• 语言: 英语
• 许可证: CC-BY-4.0
• 数据规模: 1K<n<10K

任务类别

• 问答
• 视觉问答
• 多选题

数据集名称

• 名称: MuirBench

数据集特征

• 特征列表:
  • idx: 字符串类型
  • task: 字符串类型
  • image_relation: 字符串类型
  • image_type: 字符串类型
  • question: 字符串类型
  • options: 字符串序列
  • answer: 字符串类型
  • image_list: 图像序列
  • counterpart_idx: 字符串类型

数据集分割

• 分割信息:
  • test:
    • 字节数: 2280382684.8
    • 样本数: 2600

数据集大小

• 下载大小: 429440985
• 数据集大小: 2280382684.8

配置信息

• 配置名称: default
• 数据文件:
  • test:
    • 路径: data/test-*

搜集汇总

背景与挑战

背景概述

MUIRBENCH是一个全面的多图像理解基准测试数据集，包含11,264张图像和2,600个多项选择题，覆盖12种不同的多图像理解任务。该数据集旨在评估模型在处理多图像关系（如地理理解、图表理解等）方面的能力，为多模态大模型的研究提供了重要的评估工具。