MMMLU 多语言多任务语言理解数据集

多语言大规模多任务语言理解 (MMMLU) 数据集是由 OpenAI 于 2024 年推出的一个开源数据集，旨在评估和提升人工智能模型在不同语言、认知和文化背景下的性能。 MMMLU 建立在大规模多任务语言理解 (MMLU) 基准的基础上，是人工智能模型所达到的常识性指标，包含 57 个不同学科领域的任务，涵盖了从初级知识到法律、物理、历史和计算机科学等高级专业学科。

The Multilingual Massive Multitask Language Understanding (MMMLU) dataset is an open-source dataset launched by OpenAI in 2024, designed to evaluate and enhance the performance of artificial intelligence models across diverse linguistic, cognitive and cultural contexts. Built upon the Massive Multitask Language Understanding (MMLU) benchmark—a general knowledge evaluation metric for AI models—MMMLU encompasses tasks across 57 distinct disciplinary domains, ranging from basic elementary-level knowledge to advanced specialized subjects such as law, physics, history and computer science.

搜集汇总

背景与挑战

背景概述

MMMLU是由OpenAI在2024年发布的多语言多任务语言理解数据集，基于MMLU基准构建，涵盖57个学科领域。它通过专业人工翻译支持14种语言，用于评估人工智能模型在跨语言、多任务和跨文化场景中的性能。