MMMU_Pro

该数据集名为MMMU_Pro，是一个经过强化的多模态基准测试，旨在严格评估大型语言模型（LVLMs）的真实理解能力。它按照难度等级被划分为简单、中等和困难三个层次。该数据集的任务是评估模型在多项选择题中的预测表现。

This dataset, named MMMU_Pro, is an enhanced multimodal benchmark designed to rigorously evaluate the real-world comprehension capabilities of large vision-language models (LVLMs). It is categorized into three difficulty tiers: easy, medium, and hard. The task of this dataset is to assess the predictive performance of models on multiple-choice questions.

搜集汇总

背景与挑战

背景概述

MMMU_Pro是一个增强的多学科多模态理解基准数据集，旨在更严格地评估AI模型对视觉和文本信息的整合理解能力。该数据集通过将候选答案选项增加到10个并引入视觉输入设置（问题嵌入截图）来增加挑战性，覆盖化学、生物、医学、数学等多个学科领域，包含约5,190行数据，采用parquet格式。