m-a-p/CMMMU

CMMMU数据集包含12k手动收集的多模态问题，涵盖六个核心学科：艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程。这些问题来自大学考试、测验和教科书，涉及30个学科和39种高度异质的图像类型，如图表、地图、表格、乐谱和化学结构等。数据集的特征包括问题、选项、答案、分析、难度级别、子类别、类别、子领域和图像类型等。数据集分为开发集、验证集和测试集，每个集的大小和示例数量也有所不同。

原始信息汇总

数据集概述

数据集配置

艺术与设计 (Art & Design)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 3113808 字节, 11 样本
  • val: 25493074 字节, 88 样本
  • test: 311985416.171 字节, 1091 样本
• 下载大小: 343578142 字节
• 数据集大小: 340592298.171 字节

商业 (Business)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 554457 字节, 16 样本
  • val: 6152883 字节, 126 样本
  • test: 60103968.654 字节, 1538 样本
• 下载大小: 74809661 字节
• 数据集大小: 66811308.654 字节

健康与医学 (Health & Medicine)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 2837834 字节, 18 样本
  • val: 23957247 字节, 153 样本
  • test: 204211130.315 字节, 1865 样本
• 下载大小: 293138089 字节
• 数据集大小: 231006211.315 字节

人文与社会科学 (Humanities & Social Sciences)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 1406107 字节, 11 样本
  • val: 10657772 字节, 85 样本
  • test: 157998857.894 字节, 1038 样本
• 下载大小: 160096107 字节
• 数据集大小: 170062736.894 字节

科学 (Science)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 3750526 字节, 25 样本
  • val: 14762058 字节, 204 样本
  • test: 268839654.208 字节, 2494 样本
• 下载大小: 214377468 字节
• 数据集大小: 287352238.208 字节

技术与工程 (Technology & Engineering)

• 特征:
  • id: string
  • type: string
  • source_type: string
  • source: string
  • question: string
  • option1: string
  • option2: string
  • option3: string
  • option4: string
  • image_1: image
  • image_2: image
  • image_3: image
  • image_4: image
  • image_5: image
  • answer: string
  • analysis: string
  • distribution: string
  • difficulty_level: string
  • subcategory: string
  • category: string
  • subfield: string
  • img_type: string
  • image_1_filename: string
  • image_2_filename: string
  • image_3_filename: string
  • image_4_filename: string
  • image_5_filename: string
• 分割:
  • dev: 1518231 字节, 31 样本
  • val: 14794870 字节, 244 样本
  • test: 134814024.93 字节, 2974 样本
• 下载大小: 213411677 字节
• 数据集大小: 151127125.93 字节

搜集汇总

数据集介绍

构建方式

CMMMU数据集通过精心策划，从大学考试、测验和教科书中手工收集了12,000个多模态问题，涵盖艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程六大核心学科。这些问题跨越30个主题，包含39种高度异质性的图像类型，如图表、图解、地图、表格、乐谱和化学结构。数据集的构建过程严格遵循版权和许可规则，确保所有数据来源的合法性。

特点

CMMMU数据集的显著特点在于其多模态性和跨学科性。每个问题不仅包含文本信息，还结合了多种图像类型，增强了数据集的复杂性和实用性。此外，数据集的多样性体现在其涵盖的广泛学科和图像类型上，使其成为评估和训练多模态理解模型的理想选择。

使用方法

CMMMU数据集适用于多模态理解模型的训练和评估。用户可以通过访问HuggingFace平台下载数据集，并根据提供的配置文件进行数据分割和加载。数据集包含开发集、验证集和测试集，分别用于模型开发、验证和最终评估。用户可以根据具体需求选择不同的学科配置，进行定制化的模型训练和测试。

背景与挑战

背景概述

CMMMU数据集由Ge Zhang等人于2024年创建，旨在为多模态理解研究提供一个大规模、多学科的基准。该数据集包含了从大学考试、测验和教科书中收集的12,000个手动标注的多模态问题，涵盖艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程六大核心学科。这些问题涉及30个学科，包含39种高度异质性的图像类型，如图表、图解、地图、表格、乐谱和化学结构。CMMMU的创建不仅丰富了多模态数据集的多样性，也为跨学科的多模态理解研究提供了宝贵的资源。

当前挑战

CMMMU数据集在构建过程中面临多项挑战。首先，多学科数据的异质性要求数据标注和处理具有高度的专业性和准确性。其次，数据集的规模庞大，涉及多种图像类型，增加了数据收集和处理的复杂性。此外，确保数据来源的版权和许可合规性也是一个重要挑战，需要严格遵守各数据源的版权和许可规定。最后，多模态问题的复杂性要求模型具备强大的跨模态理解和推理能力，这对当前的模型提出了更高的要求。

常用场景

经典使用场景

在多模态理解领域，CMMMU数据集以其丰富的图像和文本数据，成为评估和训练多模态模型的经典资源。该数据集涵盖了艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程六大核心学科，为研究者提供了跨学科的多模态问题集。通过结合图像和文本信息，研究者可以开发和验证能够理解和回答复杂问题的模型，从而推动多模态人工智能的发展。

解决学术问题

CMMMU数据集解决了多模态理解中的关键学术问题，特别是在跨学科和多模态数据处理方面。它通过提供高度异构的图像类型（如图表、地图、化学结构等）和相应的文本问题，帮助研究者开发能够处理复杂视觉和语言信息的模型。这不仅提升了模型的理解能力，还为多模态学习提供了标准化的评估基准，推动了相关领域的研究进展。

衍生相关工作

基于CMMMU数据集，研究者们开发了多种多模态模型和算法，显著推动了多模态理解技术的发展。例如，GPT-4V(ision)和Qwen-VL-PLUS等模型在该数据集上的表现，展示了多模态学习的最新进展。此外，CMMMU还激发了关于多模态数据处理和跨学科知识融合的研究，促进了多模态学习在不同领域的应用和创新。