openGPT-X/mmlux

---
task_categories:
- multiple-choice
language:
- de
- fr
- es
- it
- pt
- bg
- cs
- da
- el
- et
- fi
- hu
- lt
- lv
- nl
- pl
- ro
- sk
- sl
- sv
language_creators:
- expert-generated
multilinguality:
- multilingual
source_datasets:
- cais/mmlu
tags:
- chemistry
- biology
- legal
- medical
- synthetic
size_categories:
- 100K<n<1M
---

### Citation Information

If you find benchmarks useful in your research, please consider citing the test and also the [MMLU](https://arxiv.org/abs/2009.03300) dataset it draws from:
```
@misc{thellmann2024crosslingual,
title={Towards Cross-Lingual LLM Evaluation for European Languages},
author={Klaudia Thellmann and Bernhard Stadler and Michael Fromm and Jasper Schulze Buschhoff and Alex Jude and Fabio Barth and Johannes Leveling and Nicolas Flores-Herr and Joachim Köhler and René Jäkel and Mehdi Ali},
year={2024},
eprint={2410.08928},
archivePrefix={arXiv},
primaryClass={cs.CL}

@article{hendryckstest2021,
title={Measuring Massive Multitask Language Understanding},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
journal={Proceedings of the International Conference on Learning Representations (ICLR)},
year={2021}
}
}
```

任务类别：
- 多项选择
语言：
- 德语
- 法语
- 西班牙语
- 意大利语
- 葡萄牙语
- 保加利亚语
- 捷克语
- 丹麦语
- 希腊语
- 爱沙尼亚语
- 芬兰语
- 匈牙利语
- 立陶宛语
- 拉脱维亚语
- 荷兰语
- 波兰语
- 罗马尼亚语
- 斯洛伐克语
- 斯洛文尼亚语
- 瑞典语
语言生成方式：
- 专家生成
多语言属性：
- 多语言
源数据集：
- cais/mmlu
标签：
- 化学
- 生物学
- 法学
- 医学
- 合成
规模类别：
- 10万<n<100万

### 引用说明
若您的研究中使用了本基准测试，请同时引用本测试集及其所依托的 [大规模多任务语言理解基准数据集（MMLU）](https://arxiv.org/abs/2009.03300) 数据集：

@misc{thellmann2024crosslingual,
title={面向欧洲语言的跨语言大语言模型评估},
author={Klaudia Thellmann、Bernhard Stadler、Michael Fromm、Jasper Schulze Buschhoff、Alex Jude、Fabio Barth、Johannes Leveling、Nicolas Flores-Herr、Joachim Köhler、René Jäkel、Mehdi Ali},
year={2024},
eprint={2410.08928},
archivePrefix={arXiv},
primaryClass={cs.CL}

@article{hendryckstest2021,
title={大规模多任务语言理解评测},
author={Dan Hendrycks、Collin Burns、Steven Basart、Andy Zou、Mantas Mazeika、Dawn Song、Jacob Steinhardt},
journal={国际学习表征大会（ICLR）会议论文集},
year={2021}
}
}