Cognitive-Lab/Indic-MMLU

---
configs:
- config_name: kn
data_files:
- split: test
path: kn/test.json
- split: validation
path: kn/validation.json
- split: dev
path: kn/dev.json

- config_name: hi
data_files:
- split: test
path: hi/test.json
- split: validation
path: hi/validation.json
- split: dev
path: hi/dev.json

- config_name: ta
data_files:
- split: test
path: ta/test.json
- split: validation
path: ta/validation.json
- split: dev
path: ta/dev.json

- config_name: te
data_files:
- split: test
path: te/test.json
- split: validation
path: te/validation.json
- split: dev
path: te/dev.json

- config_name: ml
data_files:
- split: test
path: ml/test.json
- split: validation
path: ml/validation.json
- split: dev
path: ml/dev.json

- config_name: gu
data_files:
- split: test
path: gu/test.json
- split: validation
path: gu/validation.json
- split: dev
path: gu/dev.json

- config_name: mr
data_files:
- split: test
path: mr/test.json
- split: validation
path: mr/validation.json
- split: dev
path: mr/dev.json
---

# MMLU Translated

Citations:
```
@article{hendryckstest2021,
title={Measuring Massive Multitask Language Understanding},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
journal={Proceedings of the International Conference on Learning Representations (ICLR)},
year={2021}
}

@article{hendrycks2021ethics,
title={Aligning AI With Shared Human Values},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andrew Critch and Jerry Li and Dawn Song and Jacob Steinhardt},
journal={Proceedings of the International Conference on Learning Representations (ICLR)},
year={2021}
}

```

Contributions:\
Thanks to [@Srinidhi9113](https://huggingface.co/Srinidhi9113) for adding the dataset.

---
配置项：
- 配置名称：卡纳达语（Kannada，缩写kn）
数据文件：
- 数据划分：测试集
文件路径：kn/test.json
- 数据划分：验证集
文件路径：kn/validation.json
- 数据划分：开发集（dev）
文件路径：kn/dev.json

- 配置名称：印地语（Hindi，缩写hi）
数据文件：
- 数据划分：测试集
文件路径：hi/test.json
- 数据划分：验证集
文件路径：hi/validation.json
- 数据划分：开发集（dev）
文件路径：hi/dev.json

- 配置名称：泰米尔语（Tamil，缩写ta）
数据文件：
- 数据划分：测试集
文件路径：ta/test.json
- 数据划分：验证集
文件路径：ta/validation.json
- 数据划分：开发集（dev）
文件路径：ta/dev.json

- 配置名称：泰卢固语（Telugu，缩写te）
数据文件：
- 数据划分：测试集
文件路径：te/test.json
- 数据划分：验证集
文件路径：te/validation.json
- 数据划分：开发集（dev）
文件路径：te/dev.json

- 配置名称：马拉雅拉姆语（Malayalam，缩写ml）
数据文件：
- 数据划分：测试集
文件路径：ml/test.json
- 数据划分：验证集
文件路径：ml/validation.json
- 数据划分：开发集（dev）
文件路径：ml/dev.json

- 配置名称：古吉拉特语（Gujarati，缩写gu）
数据文件：
- 数据划分：测试集
文件路径：gu/test.json
- 数据划分：验证集
文件路径：gu/validation.json
- 数据划分：开发集（dev）
文件路径：gu/dev.json

- 配置名称：马拉地语（Marathi，缩写mr）
数据文件：
- 数据划分：测试集
文件路径：mr/test.json
- 数据划分：验证集
文件路径：mr/validation.json
- 数据划分：开发集（dev）
文件路径：mr/dev.json
---

# 翻译版MMLU（大规模多任务语言理解，Massive Multitask Language Understanding）数据集

参考文献：

@article{hendryckstest2021,
title={测量大规模多任务语言理解},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
journal={国际学习表征会议（ICLR）论文集},
year={2021}
}

@article{hendrycks2021ethics,
title={使AI与人类共同价值观对齐},
author={Dan Hendrycks and Collin Burns and Steven Basart and Andrew Critch and Jerry Li and Dawn Song and Jacob Steinhardt},
journal={国际学习表征会议（ICLR）论文集},
year={2021}
}

贡献说明：感谢[@Srinidhi9113](https://huggingface.co/Srinidhi9113) 为本数据集的添加提供支持。

原始信息汇总

数据集概述

数据集结构

本数据集包含多个语言配置，每个配置下有三个主要的数据分割：测试集、验证集和开发集。以下是各语言配置及其对应的数据文件路径：

• kn (卡纳达语):

  • 测试集: kn/test.json
  • 验证集: kn/validation.json
  • 开发集: kn/dev.json

• hi (印地语):

  • 测试集: hi/test.json
  • 验证集: hi/validation.json
  • 开发集: hi/dev.json

• ta (泰米尔语):

  • 测试集: ta/test.json
  • 验证集: ta/validation.json
  • 开发集: ta/dev.json

• te (泰卢固语):

  • 测试集: te/test.json
  • 验证集: te/validation.json
  • 开发集: te/dev.json

• ml (马拉雅拉姆语):

  • 测试集: ml/test.json
  • 验证集: ml/validation.json
  • 开发集: ml/dev.json

• gu (古吉拉特语):

  • 测试集: gu/test.json
  • 验证集: gu/validation.json
  • 开发集: gu/dev.json

• mr (马拉地语):

  • 测试集: mr/test.json
  • 验证集: mr/validation.json
  • 开发集: mr/dev.json

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，多任务语言理解基准的构建对于评估模型能力至关重要。Cognitive-Lab/Indic-MMLU数据集基于广受认可的MMLU基准，通过将原始英文测试集翻译为多种印度语言而形成。该数据集涵盖了卡纳达语（kn）、印地语（hi）、泰米尔语（ta）、泰卢固语（te）、马拉雅拉姆语（ml）、古吉拉特语（gu）和马拉地语（mr）共七种语言，每种语言均包含测试集（test）、验证集（validation）和开发集（dev）三个子集，数据以JSON格式存储于对应语言的独立目录中。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库按语言配置加载数据，例如指定config_name为'kn'即可获取卡纳达语子集。数据集包含test、validation和dev三个划分，分别用于模型评估、超参数调整和少样本学习。加载后，数据以标准字典格式呈现，包含问题和选项字段，可直接用于多选问答任务的训练与评测。

背景与挑战

背景概述

大规模多任务语言理解能力评估是自然语言处理领域的一项核心挑战，其旨在检验语言模型在广泛学科知识上的推理与泛化能力。MMLU数据集由Dan Hendrycks等学者于2021年在国际学习表征会议（ICLR）上首次提出，涵盖人文学科、社会科学、自然科学等57个学科领域的多项选择题，迅速成为衡量模型知识储备与逻辑推理的标杆基准。然而，现有MMLU数据集中于以英语为主导，对印度等非英语地区的语言模型评估存在显著局限。Cognitive-Lab/Indic-MMLU数据集正是在此背景下应运而生，由Cognitive Lab团队主导构建，通过系统性地将MMLU测试集翻译为卡纳达语、印地语、泰米尔语等七种印度主要语言，旨在填补多语言评估的空白，为低资源语言模型的鲁棒性研究提供关键支撑，对推动印度本土语言AI技术发展具有深远影响。

当前挑战

Indic-MMLU数据集面临的核心挑战首先在于语言与文化的适配性：直接翻译MMLU原始题目可能引入语义偏差，例如印度语境中特有的术语、习语或常识性假设与英文原版存在差异，导致模型评估结果失真。其次，构建过程中需解决多语言资源不均衡问题，七种印度语言在语料库规模、标注质量及翻译一致性上参差不齐，尤其是像马拉雅拉姆语或古吉拉特语等资源匮乏的语言，其翻译准确性难以通过自动方法保证，人工校验成本高昂。此外，数据集维护与扩展的可持续性亦构成挑战，随着新学科知识的涌现，需持续更新题目以避免知识过时，同时确保各语言版本间的难度等价性，这对团队的跨语言验证机制提出了严苛要求。

常用场景

经典使用场景

Indic-MMLU数据集是MMLU（大规模多任务语言理解基准）的印度语言翻译版本，涵盖了卡纳达语、印地语、泰米尔语、泰卢固语、马拉雅拉姆语、古吉拉特语和马拉地语七种主要印度语言。该数据集延续了MMLU的经典评估框架，包含从人文、社会科学到自然科学等多个领域的多项选择题，旨在系统性地衡量多语言大语言模型在印度语言上的知识理解与推理能力。研究者通常利用该数据集对预训练语言模型进行零样本或少样本评估，以检验模型在低资源语言环境下的泛化表现，从而揭示不同语言之间的知识迁移效果。

解决学术问题

该数据集有效解决了多语言自然语言处理领域中印度语言评估基准稀缺的核心问题。传统上，大语言模型的评测主要集中于英语等高资源语言，导致对印度语言模型性能的系统性理解不足。Indic-MMLU通过提供标准化、跨领域的多语言测试集，使研究者能够量化分析模型在印度语言上的知识储备与推理短板，进而推动多语言模型在低资源场景下的鲁棒性研究。其意义在于填补了印度语言综合评估的空白，为跨文化人工智能对齐、多语言知识图谱构建以及公平性研究提供了关键数据支撑。

实际应用

在实际应用中，Indic-MMLU可用于评估和优化面向印度用户的智能问答系统、教育辅助工具及多语言客服机器人。例如，在教育科技领域，该数据集能够检验AI辅导系统在印度语言环境下解答物理、历史等学科问题的准确性，从而提升个性化学习体验。此外，政府和企业可借助该基准筛选出在印度语言上表现优异的大语言模型，用于构建本地化信息检索平台或法律文本理解系统，确保技术产品在语言多样性场景中的可靠性与包容性。

数据集最近研究

最新研究方向

在自然语言处理领域，大规模多任务语言理解基准（MMLU）已成为评估模型知识广度与推理能力的重要标尺。随着多语言与低资源语言研究的蓬勃发展，研究者们逐渐将目光投向非英语语言场景。Cognitive-Lab/Indic-MMLU数据集应运而生，它巧妙地将MMLU的挑战性任务扩展至印度语系，涵盖卡纳达语、印地语、泰米尔语、泰卢固语、马拉雅拉姆语、古吉拉特语与马拉地语七种语言。这一前沿方向聚焦于跨语言知识迁移与多语言模型的本土化适应能力，尤其契合当前AI技术向全球南方国家普及的热点趋势。该数据集的发布不仅为评估大型语言模型在印度次大陆语境下的表现提供了标准化平台，更推动了多语言预训练模型在低资源场景中的公平性研究，对于促进语言包容性的人工智能发展具有深远意义。