CMMMU

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [CMMMU](https://cmmmu-benchmark.github.io/). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@article{zhang2024cmmmu,
title={CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark},
author={Ge, Zhang and Xinrun, Du and Bei, Chen and Yiming, Liang and Tongxu, Luo and Tianyu, Zheng and Kang, Zhu and Yuyang, Cheng and Chunpu, Xu and Shuyue, Guo and Haoran, Zhang and Xingwei, Qu and Junjie, Wang and Ruibin, Yuan and Yizhi, Li and Zekun, Wang and Yudong, Liu and Yu-Hsuan, Tsai and Fengji, Zhang and Chenghua, Lin and Wenhao, Huang and Wenhu, Chen and Jie, Fu},
journal={arXiv preprint arXiv:2401.20847},
year={2024},
}
```

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# 大规模多模态模型评测套件

> 借助`lmms-eval`加速大规模多模态模型（large-scale multi-modality models, LMMs）的研发

🏠 [主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集](https://huggingface.co/lmms-lab)

# 本数据集

本数据集为[CMMMU（中文大规模多学科多模态理解基准）](https://cmmmu-benchmark.github.io/)的格式化版本，可嵌入我们的`lmms-eval`评测管线，实现大规模多模态模型的一键式评测。

@article{zhang2024cmmmu,
title={《CMMMU：中文大规模多学科多模态理解基准》},
author={张戈（Ge, Zhang） and 杜鑫润（Xinrun, Du） and 陈蓓（Bei, Chen） and 梁一鸣（Yiming, Liang） and 罗同旭（Tongxu, Luo） and 郑天予（Tianyu, Zheng） and 朱康（Kang, Zhu） and 程宇阳（Yuyang, Cheng） and 徐春普（Chunpu, Xu） and 郭舒悦（Shuyue, Guo） and 张浩然（Haoran, Zhang） and 曲星伟（Xingwei, Qu） and 王俊杰（Junjie, Wang） and 袁瑞斌（Ruibin, Yuan） and 李奕志（Yizhi, Li） and 王泽坤（Zekun, Wang） and 刘昱东（Yudong, Liu） and 蔡宇轩（Yu-Hsuan, Tsai） and 张凤基（Fengji, Zhang） and 林承华（Chenghua, Lin） and 黄文豪（Wenhao, Huang） and 陈文虎（Wenhu, Chen） and 傅杰（Jie, Fu）},
journal={arXiv预印本 arXiv:2401.20847},
year={2024},
}

搜集汇总

背景与挑战

背景概述

CMMMU是一个用于评估大规模多模态模型的中文多学科多模态理解基准数据集，旨在通过一键评估加速模型开发。它采用Apache License 2.0许可证，并于2024年11月更新。