备份

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。 当前数据集卡片使用的是默认模版，数据集的贡献者未提供更加详细的数据集介绍，但是您可以通过如下GIT Clone命令，或者ModelScope SDK来下载数据集 #### 下载方法 :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"}# MMMU（面向专家通用人工智能(AGI)的大规模多学科多模态理解与推理基准） [**🌐 主页**](https://mmmu-benchmark.github.io/) | [**🏆 排行榜**](https://mmmu-benchmark.github.io/#leaderboard) | [**🤗 数据集**](https://huggingface.co/datasets/MMMU/MMMU/) | [**🤗 论文**](https://huggingface.co/papers/2311.16502) | [**📖 arXiv**](https://arxiv.org/abs/2311.16502) | [**GitHub**](https://github.com/MMMU-Benchmark/MMMU) ## 🔔 最新动态 - **🛠️[2024-05-30]：修复了Materials数据集条目中的重复选项问题（validation_Materials_25；test_Materials_17、242）以及validation_Materials_25中的内容错误。** - **🛠️[2024-04-30]：修复了Math数据集条目中缺失的“-”或“^”符号（dev_Math_2、validation_Math_11、12、16；test_Math_8、23、43、113、164、223、236、287、329、402、498），并修正了validation_Math_2中的选项错误。若您遇到数据集相关问题，请及时联系我们！** - **🚀[2024-01-31]：我们已在[排行榜](https://mmmu-benchmark.github.io/#leaderboard)中新增人类专家表现数据！🌟** - **🔥[2023-12-04]：我们的测试集评估服务器现已在[EvalAI](https://eval.ai/web/challenges/challenge-page/2179/overview)上线，欢迎所有开发者提交结果，期待您的参与！😆** ## 数据集详情 ### 数据集概述 我们推出MMMU：一款全新的基准测试集，用于评估多模态模型在需要大学水平学科知识与严谨推理的大规模多学科任务上的性能。MMMU包含**11.5万个精心收集的多模态问题**，数据来源于大学考试、测验与教科书，覆盖六大核心学科：艺术与设计、商科、理科、健康与医学、人文与社会科学、技术与工程。这些问题涵盖**30个学科**与**183个子领域**，包含**30种高度异质的图像类型**，例如图表、示意图、地图、表格、乐谱与化学结构式。我们相信MMMU将推动社区构建面向专家通用人工智能(AGI)的下一代多模态基础模型。 🎯 **我们已发布完整子集，包含150个开发集样本与900个验证集样本，同时发布了10500道无答案的测试题。** 开发集用于少样本/上下文学习，验证集用于模型调试、超参数选择或快速评估。测试集问题的答案与解析未公开，您可在**[EvalAI](https://eval.ai/web/challenges/challenge-page/2179/overview)** 上提交模型针对**测试集**的预测结果。  ### 数据集构建 MMMU旨在通过要求大学水平学科知识与严谨推理的任务来挑战多模态模型，推动这些模型在专家级感知与推理能力上的边界拓展。MMMU数据集的数据由来自不同学科的大学生团队通过在线资源、教科书与讲义材料手动收集。 - **内容范畴**：该数据集包含六大宽泛学科（艺术与设计、商科、理科、健康与医学、人文与社会科学、技术与工程）下的11.5K个大学水平问题，涵盖30个大学学科。 - **图像类型**：数据集包含30种高度异质的图像类型，例如图表、示意图、地图、表格、乐谱与化学结构式，与文本交错呈现。  ## 🏆 迷你排行榜 此处展示迷你排行榜，更多信息请参阅我们的论文或[**主页**](https://mmmu-benchmark.github.io/)。 | 模型名称 | 验证集（900样本） | 测试集（10.5K样本） | |--------------------------------|:---------:|:------------:| | 专家（最优表现） | 88.6 | - | | 专家（中等表现） | 82.6 | - | | 专家（最差表现） | 76.2 | - | | GPT-4o* | **69.1** | - | | Gemini 1.5 Pro* | 62.2 | - | | InternVL2-Pro* | 62.0 | **55.7** | | Gemini 1.0 Ultra* | 59.4 | - | | Claude 3 Opus* | 59.4 | - | | GPT-4V(ision)（Playground） | 56.8 | **55.7** | | Reka Core* | 56.3 | - | | Gemini 1.5 Flash* | 56.1 | - | | SenseChat-Vision-0423-Preview* | 54.6 | 50.3 | | Reka Flash* | 53.3 | - | | Claude 3 Sonnet* | 53.1 | - | | HPT Pro* | 52.0 | - | | VILA1.5* | 51.9 | 46.9 | | Qwen-VL-MAX* | 51.4 | 46.8 | | InternVL-Chat-V1.2* | 51.6 | 46.2 | | Skywork-VL* | 51.4 | 46.2 | | LLaVA-1.6-34B* | 51.1 | 44.7 | | Claude 3 Haiku* | 50.2 | - | | Adept Fuyu-Heavy* | 48.3 | - | | Gemini 1.0 Pro* | 47.9 | - | | Marco-VL-Plus* | 46.2 | 44.3 | | Yi-VL-34B* | 45.9 | 41.6 | | Qwen-VL-PLUS* | 45.2 | 40.8 | | HPT Air* | 44.0 | - | | Reka Edge* | 42.8 | - | | Marco-VL* | 41.2 | 40.4 | | OmniLMM-12B* | 41.1 | 40.4 | | Bunny-8B* | 43.3 | 39.0 | | Bunny-4B* | 41.4 | 38.4 | | Weitu-VL-1.0-15B* | - | 38.4 | | InternLM-XComposer2-VL* | 43.0 | 38.2 | | Yi-VL-6B* | 39.1 | 37.8 | | InfiMM-Zephyr-7B* | 39.4 | 35.5 | | InternVL-Chat-V1.1* | 39.1 | 35.3 | | Math-LLaVA-13B* | 38.3 | 34.6 | | SVIT* | 38.0 | 34.1 | | MiniCPM-V* | 37.2 | 34.1 | | MiniCPM-V-2* | 37.1 | - | | Emu2-Chat* | 36.3 | 34.1 | | BLIP-2 FLAN-T5-XXL | 35.4 | 34.0 | | InstructBLIP-T5-XXL | 35.7 | 33.8 | | LLaVA-1.5-13B | 36.4 | 33.6 | | Bunny-3B* | 38.2 | 33.0 | | Qwen-VL-7B-Chat | 35.9 | 32.9 | | SPHINX* | 32.9 | 32.9 | | mPLUG-OWL2* | 32.7 | 32.1 | | BLIP-2 FLAN-T5-XL | 34.4 | 31.0 | | InstructBLIP-T5-XL | 32.9 | 30.6 | | Gemini Nano2* | 32.6 | - | | CogVLM | 32.1 | 30.1 | | Otter | 32.2 | 29.1 | | LLaMA-Adapter2-7B | 29.8 | 27.7 | | MiniGPT4-Vicuna-13B | 26.8 | 27.6 | | Adept Fuyu-8B | 27.9 | 27.4 | | Kosmos2 | 24.4 | 26.6 | | OpenFlamingo2-9B | 28.7 | 26.3 | | Frequent Choice | 22.1 | 23.9 | | Random Choice | 26.8 | 25.8 | *：结果由作者提供。 ## 局限性说明 尽管具备全面性，但MMMU与其他基准测试一样，并非毫无局限。尽管人工筛选过程细致严谨，但仍可能引入偏差。且其聚焦大学水平学科的设定，或许不足以完全验证专家通用人工智能的能力。但我们认为，若要展现广泛且深入的学科知识，以及专家级的理解与推理能力，专家通用人工智能在MMMU上取得优异性能是必要前提。在未来工作中，我们计划将人工评估纳入MMMU，这将为模型能力与专家表现提供更贴合实际的对比，阐明当前人工智能系统距离实现专家通用人工智能的差距。 ## 免责声明 标注者指南强调需严格遵守原始数据源的版权与许可规则，特别避免使用来自禁止复制与再分发的网站的材料。若您发现任何可能违反任何网站版权或许可规定的数据样本，欢迎通知我们。经核实后，此类样本将被立即移除。 ## 联系方式 - 岳翔：[e-mail] - 苏煜：[e-mail] - 陈文虎：[e-mail] ## 引用格式 **BibTeX：** bibtex @inproceedings{yue2023mmmu, title={MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI}, author={Xiang Yue and Yuansheng Ni and Kai Zhang and Tianyu Zheng and Ruoqi Liu and Ge Zhang and Samuel Stevens and Dongfu Jiang and Weiming Ren and Yuxuan Sun and Cong Wei and Botao Yu and Ruibin Yuan and Renliang Sun and Ming Yin and Boyuan Zheng and Zhenzhu Yang and Yibo Liu and Wenhao Huang and Huan Sun and Yu Su and Wenhu Chen}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2024}, }

搜集汇总

背景与挑战

背景概述

该数据集为MMMU（大规模多学科多模态理解和推理基准），旨在评估多模态模型在大学级别学科知识和深度推理任务上的性能。它包含11.5K个精心收集的多模态问题，覆盖6大学科、30个科目和183个子领域，并集成了多种图像类型。数据集已发布开发集、验证集和测试集，用于推动专家级通用人工智能的发展。