jon-tow/okapi_mmlu

---
language:
- ar
- bn
- ca
- da
- de
- es
- eu
- fr
- gu
- hi
- hr
- hu
- hy
- id
- it
- kn
- ml
- mr
- ne
- nl
- pt
- ro
- ru
- sk
- sr
- sv
- ta
- te
- uk
- vi
license: cc-by-nc-4.0
---

# okapi_mmlu

<!-- Provide a quick summary of the dataset. -->
Multilingual translation of [Measuring Massive Multitask Language Understanding (MMLU)](https://arxiv.org/abs/2009.03300).

## Dataset Details

### Dataset Description

<!-- Provide a longer summary of what this dataset is. -->
MMLU is a benchmark that measured a text model’s multitask accuracy.
The test covers 57 tasks including elementary mathematics, US history, computer
science, law, and more. To attain high accuracy on this test, models must possess
extensive world knowledge and problem solving ability. By comprehensively evaluating the breadth and depth of a model’s academic and professional understanding, MMLU can be used to analyze models across many tasks and to identify important shortcomings.

- **Curated by:** Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu
- **License:** The datasets are CC BY NC 4.0 (allowing only non-commercial use).

### Dataset Sources

<!-- Provide the basic links for the dataset. -->

- **Repository:** http://nlp.uoregon.edu/download/okapi-eval/datasets/
- **Paper:** Okapi ([Lai et al., 2023](https://arxiv.org/abs/2307.16039))

## Citation

<!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. -->

```bibtex
@article{dac2023okapi,
title={Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback},
author={Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu},
journal={arXiv e-prints},
pages={arXiv--2307},
year={2023}
}
```

```bibtex
@article{hendryckstest2021,
title={Measuring Massive Multitask Language Understanding},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
journal={Proceedings of the International Conference on Learning Representations (ICLR)},
year={2021}
}
```

language:
- 阿拉伯语（ar）
- 孟加拉语（bn）
- 加泰罗尼亚语（ca）
- 丹麦语（da）
- 德语（de）
- 西班牙语（es）
- 巴斯克语（eu）
- 法语（fr）
- 古吉拉特语（gu）
- 印地语（hi）
- 克罗地亚语（hr）
- 匈牙利语（hu）
- 亚美尼亚语（hy）
- 印尼语（id）
- 意大利语（it）
- 卡纳达语（kn）
- 马拉雅拉姆语（ml）
- 马拉地语（mr）
- 尼泊尔语（ne）
- 荷兰语（nl）
- 葡萄牙语（pt）
- 罗马尼亚语（ro）
- 俄语（ru）
- 斯洛伐克语（sk）
- 塞尔维亚语（sr）
- 瑞典语（sv）
- 泰米尔语（ta）
- 泰卢固语（te）
- 乌克兰语（uk）
- 越南语（vi）
license: cc-by-nc-4.0

# okapi_mmlu

<!-- 数据集简要说明 -->
本数据集为《大规模多任务语言理解测评（Measuring Massive Multitask Language Understanding，MMLU）》的多语言翻译版本。

## 数据集详情

### 数据集说明
<!-- 本数据集的详细描述 -->
MMLU是一项用于测评文本模型多任务准确率的基准测试。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法学等。要在该测试中取得高准确率，模型需具备广博的世界知识与问题求解能力。通过全面评估模型在学术与专业理解层面的广度与深度，MMLU可用于跨多任务分析模型，并识别其关键短板。

- **数据整理者：** Dac Lai, Viet、Van Nguyen, Chien、Ngo, Nghia Trung、Nguyen, Thuat、Dernoncourt, Franck、Rossi, Ryan A、Nguyen, Thien Huu
- **许可证：** 本数据集采用知识共享署名-非商业性使用4.0国际许可协议（CC BY-NC 4.0），仅允许非商业性使用。

### 数据集来源
<!-- 数据集的基础链接信息 -->

- **仓库地址：** http://nlp.uoregon.edu/download/okapi-eval/datasets/
- **相关论文：** 《Okapi》（Lai等人，2023，https://arxiv.org/abs/2307.16039）

## 引用格式
<!-- 若有介绍该数据集的论文或博客文章，需在此处添加APA及Bibtex引用格式 -->

bibtex
@article{dac2023okapi,
title={Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback},
author={Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu},
journal={arXiv e-prints},
pages={arXiv--2307},
year={2023}
}

bibtex
@article{hendryckstest2021,
title={Measuring Massive Multitask Language Understanding},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
journal={Proceedings of the International Conference on Learning Representations (ICLR)},
year={2021}
}

原始信息汇总

okapi_mmlu

数据集详情

数据集描述

MMLU是一个用于评估文本模型多任务准确性的基准测试。该测试涵盖57个任务，包括基础数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准确性，模型必须具备广泛的世界知识和问题解决能力。通过全面评估模型在学术和专业领域的广度和深度理解，MMLU可用于分析模型在多个任务中的表现，并识别重要的不足之处。

• 由以下人员策划： Dac Lai, Viet 和 Van Nguyen, Chien 和 Ngo, Nghia Trung 和 Nguyen, Thuat 和 Dernoncourt, Franck 和 Rossi, Ryan A 和 Nguyen, Thien Huu
• 许可证： 数据集采用CC BY NC 4.0许可证（仅允许非商业使用）。

数据集来源

• 仓库： http://nlp.uoregon.edu/download/okapi-eval/datasets/
• 论文： Okapi (Lai et al., 2023)

引用

bibtex @article{dac2023okapi, title={Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback}, author={Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu}, journal={arXiv e-prints}, pages={arXiv--2307}, year={2023} }

bibtex @article{hendryckstest2021, title={Measuring Massive Multitask Language Understanding}, author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt}, journal={Proceedings of the International Conference on Learning Representations (ICLR)}, year={2021} }

搜集汇总

数据集介绍

构建方式

该数据集源自对经典基准测试MMLU的多语言翻译工作，由Dac Lai等学者精心构建。研究团队以MMLU原版涵盖57项任务、横跨初等数学至法学等领域的英文试题为基础，通过系统化的翻译流程，将其转化为覆盖阿拉伯语、孟加拉语、加泰罗尼亚语等31种语言的多语言版本。这一过程旨在保留原始评测集的学术深度与知识广度，同时确保跨语言语义的准确迁移，从而为多语言大语言模型的评估提供标准化工具。数据集以CC BY-NC 4.0许可发布，仅限非商业用途，体现了对学术研究的开放支持。

使用方法

使用okapi_mmlu数据集时，研究者可直接从HuggingFace加载数据，无需额外预处理。数据集适用于评测大语言模型在多语言环境下的零样本或少样本学习能力。典型应用包括：通过对比模型在不同语言子集上的准确率，分析其对特定语言的掌握程度；或利用57个任务的分项得分，诊断模型在数学、历史、计算机科学等领域的专长与短板。推荐结合Okapi论文中的评估框架，使用标准化的提示模板进行推理，以确保结果的可比性与复现性。

背景与挑战

背景概述

在自然语言处理领域，多语言模型的评估基准长期稀缺，限制了跨语言智能系统的可信度与实用性。okapi_mmlu数据集由Dac Lai、Viet Van Nguyen等研究者于2023年构建，旨在将广泛认可的英文评测基准MMLU（Measuring Massive Multitask Language Understanding）扩展至32种语言，涵盖阿拉伯语、印地语、法语等低资源与高资源语种。该数据集依托Okapi项目，核心研究问题在于检验多语言大语言模型在57项学术与专业任务上的深度理解能力，包括初等数学、法律、计算机科学等领域。其影响力体现在为多语言模型提供标准化评估框架，推动了跨语言推理能力的系统性研究，并揭示了模型在不同语言环境下的知识迁移短板。

当前挑战

okapi_mmlu面临的挑战首先源于领域问题的复杂性：多语言模型需在缺乏对齐训练数据的情况下，跨越语言与文化的鸿沟完成等价的逻辑推理与知识检索，而现有模型在低资源语言上的表现往往显著弱于英语，暴露出泛化能力的不足。构建过程中，挑战集中于翻译质量与任务保真度的平衡——直接机器翻译可能导致语义扭曲或文化特定概念的丢失，需依赖人工校验与专家审校来维持原MMLU基准的难度与一致性。此外，多语言标注资源的稀缺性增加了数据采集成本，且不同语言间的任务难度差异难以归一化，为公平评估带来了方法论上的难题。

常用场景

经典使用场景

okapi_mmlu作为多语言版本的MMLU基准测试集，其经典使用场景在于评估多语言大语言模型在广泛学科领域中的知识掌握与推理能力。该数据集涵盖了从基础数学、美国历史到计算机科学、法律等57项任务，通过将原始MMLU翻译为阿拉伯语、孟加拉语、加泰罗尼亚语等30余种语言，为研究者提供了跨语言、跨文化背景下模型综合性能的标准化测试平台。这一资源使得对多语言模型学术与专业理解的广度与深度的系统性评估成为可能，尤其适用于检验模型在非英语环境下的世界知识与问题解决能力。

解决学术问题

该数据集有效解决了多语言自然语言处理领域中缺乏高质量、多任务、跨语言学术评估基准的难题。传统的MMLU仅覆盖英语，限制了对其模型在全球化应用中的泛化能力评估。okapi_mmlu通过严谨的翻译流程，保留了原始任务的结构与难度，使得研究者能够系统性地分析多语言模型在不同语言和文化背景下的表现差异，识别其在低资源语言上的短板。这一贡献为多语言大模型的公平性、鲁棒性及迁移学习研究提供了关键工具，推动了跨语言AI能力的透明化与可比较性。

实际应用

在实际应用中，okapi_mmlu被广泛用于多语言教育辅助系统的性能验证，例如评估AI助教在数学、法律、科学等科目上以不同语言提供准确解答的能力。此外，该数据集也为跨国企业部署的客服机器人、多语言知识问答平台以及全球信息检索系统提供了重要的基准测试依据，帮助开发者在部署前识别模型在特定语言或文化场景下的知识盲区，从而优化模型训练策略，提升多语言服务的可靠性与用户满意度。

数据集最近研究

最新研究方向

多语言大语言模型评估基准的跨语言迁移与泛化能力研究是当前前沿方向。jon-tow/okapi_mmlu作为MMLU的多语言翻译版本，涵盖阿拉伯语、孟加拉语、加泰罗尼亚语等31种语言，直接回应了多语言模型在学术与专业任务上的评估需求。该数据集依托Okapi项目（Lai et al., 2023），结合强化学习从人类反馈中微调指令，为多语言LLM的零样本与少样本推理能力提供了标准化测试平台。近期研究聚焦于探索模型在不同语言间知识迁移的鲁棒性，以及低资源语言上的性能瓶颈。这一数据集的出现推动了多语言评估从英语中心主义向更具包容性的方向演进，尤其对全球教育、法律与科学计算等跨文化应用场景具有深远意义，助力揭示多语言模型的系统性缺陷并指导下一代架构设计。