BAAI/CMMU

---
license: apache-2.0
task_categories:
- visual-question-answering
language:
- zh
pretty_name: CMMU
size_categories:
- 1K<n<10K
dataset_info:
features:
- name: type
dtype: string
- name: grade_band
dtype: string
- name: difficulty
dtype: string
- name: question_info
dtype: string
- name: split
dtype: string
- name: subject
dtype: string
- name: image
dtype: string
- name: sub_questions
sequence: string
- name: options
sequence: string
- name: answer
sequence: string
- name: solution_info
dtype: string
- name: id
dtype: string
- name: image
dtype: image
configs:
- config_name: default
data_files:
- split: val
path:
- "val/*.parquet"
---
# CMMU
[**📖 Paper**](https://arxiv.org/abs/2401.14011) | [**🤗 Dataset**](https://huggingface.co/datasets) | [**GitHub**](https://github.com/FlagOpen/CMMU)

This repo contains the evaluation code for the paper [**CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning**](https://arxiv.org/abs/2401.14011) .

We release the validation set of CMMU, you can download it from [here](https://huggingface.co/datasets/BAAI/CMMU). The test set will be hosted on the [flageval platform](https://flageval.baai.ac.cn/). Users can test by uploading their models.

## Introduction
CMMU is a novel multi-modal benchmark designed to evaluate domain-specific knowledge across seven foundational subjects: math, biology, physics, chemistry, geography, politics, and history. It comprises 3603 questions, incorporating text and images, drawn from a range of Chinese exams. Spanning primary to high school levels, CMMU offers a thorough evaluation of model capabilities across different educational stages.

## Evaluation Results
We currently evaluated 10 models on CMMU. The results are shown in the following table.

| Model | Val Avg. | Test Avg. |
|----------------------------|----------|-----------|
| InstructBLIP-13b | 0.39 | 0.48 |
| CogVLM-7b | 5.55 | 4.9 |
| ShareGPT4V-7b | 7.95 | 7.63 |
| mPLUG-Owl2-7b | 8.69 | 8.58 |
| LLava-1.5-13b | 11.36 | 11.96 |
| Qwen-VL-Chat-7b | 11.71 | 12.14 |
| Intern-XComposer-7b | 18.65 | 19.07 |
| Gemini-Pro | 21.58 | 22.5 |
| Qwen-VL-Plus | 26.77 | 26.9 |
| GPT-4V | 30.19 | 30.91 |

## Citation
**BibTeX:**
```bibtex
@article{he2024cmmu,
title={CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning},
author={Zheqi He, Xinya Wu, Pengfei Zhou, Richeng Xuan, Guang Liu, Xi Yang, Qiannan Zhu and Hua Huang},
journal={arXiv preprint arXiv:2401.14011},
year={2024},
}
```

---
许可证：apache-2.0
任务类别：视觉问答（Visual Question Answering）
语言：中文
展示名称：CMMU
样本规模：1K<n<10K
数据集详情：
特征字段：
- 名称：type，数据类型：字符串
- 名称：grade_band，数据类型：字符串
- 名称：difficulty，数据类型：字符串
- 名称：question_info，数据类型：字符串
- 名称：split，数据类型：字符串
- 名称：subject，数据类型：字符串
- 名称：image，数据类型：字符串
- 名称：sub_questions，数据类型：字符串序列
- 名称：options，数据类型：字符串序列
- 名称：answer，数据类型：字符串序列
- 名称：solution_info，数据类型：字符串
- 名称：id，数据类型：字符串
- 名称：image，数据类型：图像
配置项：
- 配置名称：default
数据文件：
- 划分集：val
路径：
- "val/*.parquet"
---
# CMMU
[**📖 论文**](https://arxiv.org/abs/2401.14011) | [**🤗 数据集**](https://huggingface.co/datasets) | [**GitHub**](https://github.com/FlagOpen/CMMU)

本仓库包含论文《CMMU：面向中文多模态（Multi-modal）多类型题目理解与推理的基准测试集》的评估代码。

我们已发布CMMU的验证集，可从[此处](https://huggingface.co/datasets/BAAI/CMMU)下载。测试集将部署于[flageval平台](https://flageval.baai.ac.cn/)，用户可上传模型进行测试。

## 简介
CMMU是一款全新的多模态基准测试集，旨在评估数学、生物学、物理学、化学、地理学、政治、历史共7门基础学科的领域专属知识。该基准集包含3603道融合文本与图像的题目，取材于多类中国考试真题，覆盖小学至高中全学段，可全面评估模型在不同教育阶段的能力表现。

## 评估结果
目前我们已在CMMU上对10款模型进行了评估，结果如下表所示。

| 模型 | 验证集平均分 | 测试集平均分 |
|----------------------------|----------|-----------|
| InstructBLIP-13b | 0.39 | 0.48 |
| CogVLM-7b | 5.55 | 4.9 |
| ShareGPT4V-7b | 7.95 | 7.63 |
| mPLUG-Owl2-7b | 8.69 | 8.58 |
| LLava-1.5-13b | 11.36 | 11.96 |
| Qwen-VL-Chat-7b | 11.71 | 12.14 |
| Intern-XComposer-7b | 18.65 | 19.07 |
| Gemini-Pro | 21.58 | 22.5 |
| Qwen-VL-Plus | 26.77 | 26.9 |
| GPT-4V | 30.19 | 30.91 |

## 引用
**BibTeX 格式：**
bibtex
@article{he2024cmmu,
title={CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning},
author={Zheqi He, Xinya Wu, Pengfei Zhou, Richeng Xuan, Guang Liu, Xi Yang, Qiannan Zhu and Hua Huang},
journal={arXiv preprint arXiv:2401.14011},
year={2024},
}

原始信息汇总

数据集概述

数据集来源

• 该数据集详情页面提供了论文、Hugging Face数据集以及GitHub链接。

数据集类型

• 未明确指出数据集的具体类型。

数据集内容

• 未详细描述数据集的具体内容。

数据集用途

• 未明确指出数据集的具体用途。

数据集链接

• 论文链接
• Hugging Face数据集链接
• GitHub链接

搜集汇总

背景与挑战

背景概述

CMMU是一个中文多模态多类型问答理解与推理基准数据集，专注于视觉问答任务，包含图像和文本模态。该数据集涵盖从小学到高中七个学科领域的考试题目，旨在评估模型在跨学科知识理解和推理方面的综合能力。