indolem/IndoMMLU

Name: indolem/IndoMMLU
Creator: indolem
Published: 2023-10-11 04:30:54
License: 暂无描述

Hugging Face2023-10-11 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/indolem/IndoMMLU

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit task_categories: - question-answering language: - id tags: - knowledge pretty_name: IndoMMLU size_categories: - 10K<n<100K --- # IndoMMLU  <img src="https://raw.githubusercontent.com/fajri91/eval_picts/master/IndoMMLU-Bar.png" style="width: 100%;" id="title-icon"> <a href="http://www.fajrikoto.com" target="_blank">Fajri Koto</a>, <a href="https://www.linkedin.com/in/nuaisyah/" target="_blank">Nurul Aisyah</a>, <a href="https://haonan-li.github.io/" target="_blank">Haonan Li</a>, <a href="https://people.eng.unimelb.edu.au/tbaldwin/" target="_blank">Timothy Baldwin</a> <h4 align="center"> 📄 <a href="https://arxiv.org/abs/2310.04928" target="_blank" style="margin-right: 15px; margin-left: 10px">Paper</a> • 🏆 <a href="https://github.com/fajri91/IndoMMLU/blob/main/README_EN.md#evaluation" target="_blank" style="margin-left: 10px">Leaderboard</a> • 🤗 <a href="https://huggingface.co/datasets/indolem/indommlu" target="_blank" style="margin-left: 10px">Dataset</a> </h4> ## Introduction We introduce IndoMMLU, the first multi-task language understanding benchmark for Indonesian culture and languages, which consists of questions from primary school to university entrance exams in Indonesia. By employing professional teachers, we obtain 14,906 questions across 63 tasks and education levels, with 46\% of the questions focusing on assessing proficiency in the Indonesian language and knowledge of nine local languages and cultures in Indonesia. <img src="https://github.com/fajri91/eval_picts/blob/master/IndoMMLU-dist.png?raw=true" style="width: 500px;" id="title-icon"> ## Subjects | Level | Subjects | |-----------|------------------------------------| | SD (Primary School) | Science, Social science, Civics, Indonesian Language, Balinese, Makassarese, Banjarese, Lampungic, Madurese, Sundanese, Javanese, Dayak Ngaju, Minangkabau culture, Art, Sports, Islam religion, Christian religion, Hindu religion | | SMP (Junior High School) | Science, Social science, Civics, Indonesian Language, Balinese, Makassarese, Banjarese, Lampungic, Madurese, Sundanese, Javanese, Minangkabau culture, Art, Sports, Islam religion, Christian religion, Hindu religion | | SMA (Senior High School) | Physics, Chemistry, Biology, Geography, Sociology, Economics, History, Civics, Indonesian Language, Balinese, Makassarese, Banjarese, Lampungic, Madurese, Sundanese, Javanese, Art, Sports, Islam religion, Christian religion, Hindu religion | University Entrance Test | Chemistry, Biology, Geography, Sociology, Economics, History, Indonesian Language | We categorize the collected questions into different subject areas, including: (1) STEM (Science, Technology, Engineering, and Mathematics); (2) Social Science; (3) Humanities; (4) Indonesian Language; and (5) Local Languages and Cultures. ## Examples These questions are written in Indonesian. For local language subjects, some are written in the local languages. The English version is for illustrative purposes only. <img src="https://github.com/fajri91/eval_picts/blob/master/min_example.png?raw=true" style="width: 400px;" id="title-icon"> ## Evaluation We evaluate 24 multilingual LLMs of different sizes in zero-shot and few-shot settings. This includes [GPT-3.5 (ChatGPT)](https://chat.openai.com/), [XGLM](https://arxiv.org/abs/2112.10668), [Falcon](https://falconllm.tii.ae/), [BLOOMZ](https://huggingface.co/bigscience/bloomz), [mT0](https://huggingface.co/bigscience/bloomz), [LLaMA](https://arxiv.org/abs/2302.13971), and [Bactrian-X](https://github.com/mbzuai-nlp/bactrian-x). Prior to the question and multiple-choice options, we add a simple prompt in the Indonesian language: ``` Ini adalah soal [subject] untuk [level]. Pilihlah salah satu jawaban yang dianggap benar! English Translation: This is a [subject] question for [level]. Please choose the correct answer! ``` #### Zero-shot Evaluation | Model (#param) | STEM | Social Science | Humanities | Indonesian Lang. | Local L. Culture | Average | |---------------------|------|----------|-------------|---------|----------|---------| | Random | 21.9 | 23.4 | 23.5 | 24.4 | 26.6 | 24.4 | | [GPT-3.5 (175B)](https://chat.openai.com/) | **54.3** | **62.5** | **64.0** | **62.2** | 39.3 | **53.2** | | [XGLM (564M)](https://huggingface.co/facebook/xglm-564M) | 22.1 | 23.0 | 25.6 | 25.6 | 27.5 | 25.2 | | [XGLM (1.7B)](https://huggingface.co/facebook/xglm-1.7B) | 20.9 | 23.0 | 24.6 | 24.8 | 26.6 | 24.4 | | [XGLM (2.9B)](https://huggingface.co/facebook/xglm-2.9B) | 22.9 | 23.2 | 25.4 | 26.3 | 27.2 | 25.2 | | [XGLM (4.5B)](https://huggingface.co/facebook/xglm-4.5B) | 21.8 | 23.1 | 25.6 | 25.8 | 27.1 | 25.0 | | [XGLM (7.5B)](https://huggingface.co/facebook/xglm-7.5B) | 22.7 | 21.7 | 23.6 | 24.5 | 27.5 | 24.5 | | [Falcon (7B)](https://huggingface.co/tiiuae/falcon-7b) | 22.1 | 22.9 | 25.5 | 25.7 | 27.5 | 25.1 | | [Falcon (40B)](https://huggingface.co/tiiuae/falcon-40b) | 30.2 | 34.8 | 34.8 | 34.9 | 29.2 | 32.1 | | [BLOOMZ (560M)](https://huggingface.co/bigscience/bloomz-560m) | 22.9 | 23.6 | 23.2 | 24.2 | 25.1 | 24.0 | | [BLOOMZ (1.1B)](https://huggingface.co/bigscience/bloomz-1b1) | 20.4 | 21.4 | 21.1 | 23.5 | 24.7 | 22.4 | | [BLOOMZ (1.7B)](https://huggingface.co/bigscience/bloomz-1b7) | 31.5 | 39.3 | 38.3 | 42.8 | 29.4 | 34.4 | | [BLOOMZ (3B)](https://huggingface.co/bigscience/bloomz-3b) | 33.5 | 44.5 | 39.7 | 46.7 | 29.8 | 36.4 | | [BLOOMZ (7.1B)](https://huggingface.co/bigscience/bloomz-7b1) | 37.1 | 46.7 | 44.0 | 49.1 | 28.2 | 38.0 | | [mT0small (300M)](https://huggingface.co/bigscience/mt0-small) | 21.8 | 21.4 | 25.7 | 25.1 | 27.6 | 24.9 | | [mT0base (580M)](https://huggingface.co/bigscience/mt0-base) | 22.6 | 22.6 | 25.7 | 25.6 | 26.9 | 25.0 | | [mT0large (1.2B)](https://huggingface.co/bigscience/mt0-large) | 22.0 | 23.4 | 25.1 | 27.3 | 27.6 | 25.2 | | [mT0xl (3.7B)](https://huggingface.co/bigscience/mt0-xl) | 31.4 | 42.9 | 41.0 | 47.8 | 35.7 | 38.2 | | [mT0xxl (13B)](https://huggingface.co/bigscience/mt0-xxl) | 33.5 | 46.2 | 47.9 | 52.6 | **39.6** | 42.5 | | [LLaMA (7B)](https://arxiv.org/abs/2302.13971) | 22.8 | 23.1 | 25.1 | 26.7 | 27.6 | 25.3 | | [LLaMA (13B)](https://arxiv.org/abs/2302.13971) | 24.1 | 23.0 | 24.4 | 29.5 | 26.7 | 25.3 | | [LLaMA (30B)](https://arxiv.org/abs/2302.13971) | 25.4 | 23.5 | 25.9 | 28.4 | 28.7 | 26.5 | | [LLaMA (65B)](https://arxiv.org/abs/2302.13971) | 33.0 | 37.7 | 40.8 | 41.4 | 32.1 | 35.8 | | [Bactrian-X-LLaMA (7B)](https://github.com/mbzuai-nlp/bactrian-x) | 23.3 | 24.0 | 26.0 | 26.1 | 27.5 | 25.7 | | [Bactrian-X-LLaMA (13B)](https://github.com/mbzuai-nlp/bactrian-x) | 28.3 | 29.9 | 32.8 | 35.2 | 29.2 | 30.3 | #### GPT-3.5 performance (% accuracy) across different education levels <img src="https://github.com/fajri91/eval_picts/blob/master/IndoMMLU-result.png?raw=true" style="width: 370px;" id="title-icon"> Red indicates that the score is below the minimum passing threshold of 65, while green signifies a score at or above this minimum. We can observe that ChatGPT mostly passes a score of 65 in Indonesian primary school exams. #### Few-shot Evaluation <img src="https://github.com/fajri91/eval_picts/blob/master/plot_fewshot.png?raw=true" style="width: 380px;" id="title-icon"> ## Data Each question in the dataset is a multiple-choice question with up to 5 choices and only one choice as the correct answer. We provide our dataset according to each subject in [data](data) folder. You can also access our dataset via [Hugging Face](https://huggingface.co/datasets/indolem/indommlu).  #### Evaluation The code for the evaluation of each model we used is in `evaluate.py`, and the code to run them is listed in `run.sh`. ## Citation ``` @inproceedings{koto-etal-2023-indommlu, title = "Large Language Models Only Pass Primary School Exams in {I}ndonesia: A Comprehensive Test on {I}ndo{MMLU}", author = "Fajri Koto and Nurul Aisyah and Haonan Li and Timothy Baldwin", booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)", month = December, year = "2023", address = "Singapore", publisher = "Association for Computational Linguistics", } ``` ## License The IndoMMLU dataset is licensed under a [Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License](http://creativecommons.org/licenses/by-nc-sa/4.0/).

提供机构：

indolem

原始信息汇总

IndoMMLU 数据集概述

基本信息

许可证：MIT
任务类别：问答
语言：印尼语
标签：知识
名称：IndoMMLU
数据量：10K<n<100K

简介

IndoMMLU 是首个针对印尼文化和语言的多任务语言理解基准，包含从小学到大学入学考试的印尼语问题。通过专业教师的参与，收集了14,906个问题，涵盖63个任务和教育水平，其中46%的问题用于评估印尼语和九种当地语言及文化的掌握程度。

学科分类

数据集中的问题按教育水平和学科分类如下：

小学 (SD)：科学、社会科学、公民教育、印尼语、巴厘语、望加锡语、班贾尔语、楠榜语、马都拉语、巽他语、爪哇语、达亚克语、米南加保文化、艺术、体育、伊斯兰教、基督教、印度教
初中 (SMP)：科学、社会科学、公民教育、印尼语、巴厘语、望加锡语、班贾尔语、楠榜语、马都拉语、巽他语、爪哇语、米南加保文化、艺术、体育、伊斯兰教、基督教、印度教
高中 (SMA)：物理、化学、生物、地理、社会学、经济学、历史、公民教育、印尼语、巴厘语、望加锡语、班贾尔语、楠榜语、马都拉语、巽他语、爪哇语、艺术、体育、伊斯兰教、基督教、印度教
大学入学考试：化学、生物、地理、社会学、经济学、历史、印尼语

问题被进一步分类为：

STEM（科学、技术、工程和数学）
社会科学
人文学科
印尼语
当地语言和文化

示例

问题以印尼语编写，部分当地语言学科的问题使用当地语言。英文版本仅作说明用途。

评估

数据集用于评估24个不同大小的多语言语言模型（LLMs）在零样本和少样本设置下的表现。包括GPT-3.5 (ChatGPT)、XGLM、Falcon、BLOOMZ、mT0、LLaMA和Bactrian-X等模型。

零样本评估

评估结果显示了各模型在不同学科领域的准确率，GPT-3.5在多个领域表现最佳。

少样本评估

少样本评估结果显示了模型在提供少量示例后的表现提升。

数据格式

每个问题都是多项选择题，最多有5个选项，其中一个是正确答案。数据集按学科分类提供，可通过Hugging Face访问。

引用

如需引用此数据集，请使用以下格式：

@inproceedings{koto-etal-2023-indommlu, title = "Large Language Models Only Pass Primary School Exams in {I}ndonesia: A Comprehensive Test on {I}ndo{MMLU}", author = "Fajri Koto and Nurul Aisyah and Haonan Li and Timothy Baldwin", booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)", month = December, year = "2023", address = "Singapore", publisher = "Association for Computational Linguistics", }

许可证

IndoMMLU 数据集基于Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License授权。

搜集汇总

数据集介绍

构建方式

在多语言自然语言处理领域，针对特定文化与语言的基准测试集构建始终是推动模型能力评估的关键环节。IndoMMLU数据集由专业教师团队精心编纂，系统收集了印度尼西亚从小学至大学入学考试的多项选择题，总计涵盖14,906道题目。这些题目横跨63个学科门类与教育层级，其中46%的试题聚焦于评估印度尼西亚语以及九种地方语言与文化的掌握程度。每道题目均配备最多五个选项，且仅有一个正确答案，确保了评估的标准化与可靠性。

特点

IndoMMLU数据集的独特之处在于其深植于印度尼西亚本土文化语境的多元性。它将学科知识划分为STEM、社会科学、人文学科、印度尼西亚语以及地方语言与文化五大领域，全面覆盖从基础科学到宗教、艺术的广泛主题。尤为突出的是，数据集大量融入巴厘语、马都拉语、爪哇语等九种地方语言及相应文化知识，使得该基准不仅衡量模型的语言理解能力，更考验其对印度尼西亚多元文化生态的认知深度，为多语言模型的本土化评估设立了新标杆。

使用方法

研究人员可通过HuggingFace平台直接访问indolem/IndoMMLU数据集，便捷地加载各学科子集。在评估模型时，推荐采用零样本或少样本学习范式，使用如“Ini adalah soal [subject] untuk [level]. Pilihlah salah satu jawaban yang dianggap benar!”的印度尼西亚语提示模板，以契合本地语境。数据集已适配主流评估框架，用户可借助OpenCompass或lm-evaluation-harness等工具进行标准化评测，或参照官方提供的evaluate.py脚本与run.sh配置文件复现实验，从而高效衡量多语言大语言模型在印度尼西亚文化与教育场景下的表现。

背景与挑战

背景概述

IndoMMLU是由Fajri Koto、Nurul Aisyah、Haonan Li和Timothy Baldwin等研究人员于2023年共同创建的首个面向印度尼西亚文化与语言的多任务语言理解基准。该数据集聚焦于评估多语言大语言模型在印尼本土语境下的表现，核心研究问题在于揭示现有模型对低资源语言及多元文化知识的掌握程度。通过聘请专业教师，团队从印尼小学至大学入学考试中精心筛选出14,906道题目，覆盖63个任务与教育层级，其中46%的问题专门针对印尼语及九种地方语言与文化。这一工作填补了东南亚语言理解基准的空白，为跨文化自然语言处理研究提供了重要资源，并推动了多语言模型在真实教育场景中的评估与改进。

当前挑战

IndoMMLU所解决的领域挑战在于多语言模型对印尼语及地方语言文化知识的深度理解不足，尤其是模型在人文社科和本土文化任务上的表现显著弱于语言类任务，凸显了跨文化语义理解的瓶颈。构建过程中，团队面临多重困难：首先，需从分散的教育系统中系统收集并标准化涵盖63个学科的题目，确保内容覆盖小学至大学各阶段的难度梯度；其次，涉及九种地方语言的数据标注需依赖精通该语言与文化的专家，人力成本高昂；最后，题目格式的多样性（如选择题选项数量不一）要求统一的数据处理流程，同时需避免因文化偏见导致评估偏差。这些挑战共同构成了构建高质量多语言评估数据集的典型障碍。

常用场景

经典使用场景

IndoMMLU作为首个聚焦印度尼西亚文化与语言的多任务语言理解基准，其经典使用场景在于评估大规模多语言模型在印尼教育体系下的知识掌握程度。该数据集涵盖从小学到大学入学考试的14,906道题目，横跨63个任务与教育层级，其中46%的问题专门考察印尼语及九种地方语言与文化。研究者常利用IndoMMLU进行零样本与少样本评测，以衡量模型在STEM、社会科学、人文学科、印尼语言及地方语言文化五大领域的综合表现，从而揭示模型在低资源语言与文化背景下的推理能力与知识边界。

实际应用

在实际应用中，IndoMMLU可作为印尼教育科技领域的重要测试平台，用于评估与优化面向印尼学生的智能辅导系统、自动问答工具及语言学习应用。例如，基于该数据集的评测结果，开发者可以针对模型在地方语言与文化题目上的弱点进行针对性微调，提升其在印尼多语言教育环境中的实用性。此外，IndoMMLU还可辅助政府或教育机构筛选适合本地化部署的AI模型，确保其能准确理解印尼多元文化背景下的学术内容，从而推动人工智能技术在印尼教育公平与语言保护中的落地。

衍生相关工作

IndoMMLU的发布催生了多项相关研究工作，包括对多语言模型在印尼语境下进行鲁棒性分析、跨语言知识迁移研究以及文化特定基准的扩展。例如，研究者基于IndoMMLU的评估框架，进一步探索了提示工程与少样本学习策略对模型在印尼地方语言任务上的影响。此外，该数据集还启发了类似低资源语言基准的构建，如针对马来语、他加禄语等东南亚语言的MMLU变体，促进了区域语言模型评估的标准化。同时，IndoMMLU的评测结果被用于指导新一代多语言模型如NusaBERT的预训练数据优化，强化了模型对印尼多元文化的表征能力。

以上内容由遇见数据集搜集并总结生成