CohereLabs/Global-MMLU-Lite

这是一个多语言选择题数据集，包含多种语言（如阿拉伯语、孟加拉语、中文、英语等）的配置，每个配置都有测试集和开发集。数据集特征包括样本ID、主题、主题类别、问题、四个选项（A、B、C、D）、答案、所需知识、时间敏感性、参考文献、文化、地区、国家、文化敏感性标签和是否已标注。数据集旨在评估模型在多语言和文化相关选择题上的表现，可能用于自然语言处理任务如问答系统或文化适应性测试。This is a multilingual multiple-choice question dataset with configurations for various languages such as Arabic, Bengali, Chinese, English, etc., each containing test and development splits. The dataset features include sample ID, subject, subject category, question, four options (A, B, C, D), answer, required knowledge, time sensitivity, reference, culture, region, country, cultural sensitivity label, and whether it is annotated. It is designed to evaluate model performance on multilingual and culturally relevant multiple-choice questions, potentially for natural language processing tasks like question answering or cultural adaptation testing.

搜集汇总

数据集介绍

构建方式

Global-MMLU-Lite数据集是在广泛认可的MMLU基准测试基础上，经过精心的多语言扩展与文化适配而构建的。该数据集涵盖了阿拉伯语、孟加拉语、捷克语、威尔士语、德语、英语、西班牙语、法语、印地语、匈牙利语、印尼语、意大利语、日语、韩语、缅甸语、奥里亚语、葡萄牙语、斯洛伐克语、阿尔巴尼亚语、斯瓦希里语、他加禄语、约鲁巴语和中文等23种语言版本。每个语言配置均包含400个测试样本和若干开发样本，样本结构统一，包含问题、四个选项、正确答案、所需知识领域、时间敏感性、参考来源、文化标签、地域和国家归属以及文化敏感性标注等丰富字段，旨在全方位评估语言模型在跨文化、多语言环境下的知识掌握程度。

特点

该数据集的核心特色在于其深邃的文化敏感性与地域多样性。每个样本均附有'culture'、'region'、'country'及'cultural_sensitivity_label'字段，详细标注了问题所涉及的文化背景与地域归属，使得模型评估不再局限于语言本身，而是深入至知识背后的文化内涵。此外，'required_knowledge'与'time_sensitive'字段揭示了问题的知识类型与时效性，为分析模型的知识结构提供了细腻的维度。数据集采用统一格式的单项选择题结构，覆盖多个学科类别，便于进行标准化评测，同时通过'is_annotated'布尔字段标记样本是否经过人工校验，确保了数据质量的可追溯性。

使用方法

用户可通过HuggingFace Datasets库便捷加载Global-MMLU-Lite数据集。使用时需指定语言配置名称（如'en'对应英语），即可获取包含'test'和'dev'两个分区的数据。每个样本以字典形式呈现，包含'sample_id'、'subject'、'subject_category'、'question'、'option_a'至'option_d'、'answer'、'required_knowledge'、'time_sensitive'、'reference'、'culture'、'region'、'country'、'cultural_sensitivity_label'及'is_annotated'等字段。研究者可依据'answer'字段进行模型预测的准确率计算，亦可利用'required_knowledge'等元信息进行细粒度的知识图谱或模型能力分析。数据集遵循Apache-2.0许可协议，便于学术研究及商业应用。

背景与挑战

背景概述

Global-MMLU-Lite数据集诞生于大语言模型多语言能力评测需求日益增长的背景下，由全球多个研究机构联合构建。其核心研究问题在于如何系统性评估语言模型在跨语言、跨文化环境中的知识掌握程度。该数据集通过涵盖从阿拉伯语到中文等20余种语言的高质量问答对，为多语言自然语言处理领域提供了标准化的评测基准，对推动语言模型全球化部署与消除语言偏见具有里程碑式的影响。

当前挑战

该数据集所应对的领域挑战在于传统单语评测基准无法反映模型在多样性语言与异质文化场景下的实际表现，亟需构建涵盖差异化知识体系与文化敏感性的多层次评估框架。构建过程中面临的核心难题包括：确保问题在翻译与本地化过程中不丢失原意，并兼顾文化中立性；收集与标注具有不同地域特色与时间敏感性的专业知识；以及为低资源语言如伊博语、约鲁巴语等设计足量且可靠的数据样本。

常用场景

经典使用场景

在跨语言与跨文化知识评估的学术浪潮中，Global-MMLU-Lite数据集作为多语言常识推理与知识理解基准的轻量级版本，广泛应用于比较不同语言背景下大语言模型的综合知识掌握水平。研究人员利用该数据集对模型进行零样本或少样本条件下的知识问答评测，考察模型在数学、历史、法律、医学等多样化主题上的推理能力，尤其关注模型在不同文化语境中处理敏感知识时的准确性与公平性表现。

解决学术问题

该数据集精准回应了当前自然语言处理领域两大核心学术关切：一是现有知识评估基准过度集中于英语语料，导致对非英语语言模型能力的系统性低估；二是大语言模型在处理蕴含多元文化背景的题目时，常常表现出知识失衡与文化偏见。Global-MMLU-Lite通过覆盖20余种语言并标注文化敏感性标签，为研究者提供衡量模型跨文化知识广度与深度偏移的工具，有力推动了多语言公平性评测与去偏算法的发展。

衍生相关工作

基于Global-MMLU-Lite的启发，学术界涌现出一系列拓展性工作。其中代表性成果包括Global-MMLU完整版数据集的构建，以及对各语言子集进行难度与偏差分析的元评测研究。部分团队进一步从其标注的‘所需知识’与‘时间敏感性’字段出发，开发了动态知识更新评测框架。同时，该数据集的文化敏感标签促使研究者设计出新颖的跨文化公平性指标，并催生了针对特定语言族群的去偏算法，如基于检索增强的跨文化知识对齐方法。