ehasler/cmmlu

该数据集是一个大规模多项选择题集合，涵盖多个学科领域，包括农学、解剖学、古代汉语、艺术、天文学、商业伦理、中国公务员考试、中国驾驶规则、中国饮食文化、中国外交政策、中国历史、中国文学、中国教师资格、临床知识、大学精算科学、大学教育、大学工程水文学、大学法律、大学数学、大学医学统计、大学医学、计算机科学、计算机安全、概念物理、建设项目管理、经济学、教育、电气工程、小学语文、小学常识、小学信息技术、小学数学、民族学、食品科学、遗传学、全球事实、高中生物、高中化学、高中地理、高中数学、高中物理、高中政治、人类性行为、国际法、新闻学、法理学、法律与道德基础、逻辑、机器学习、管理等。每个数据条目包含一个问题（Question）、四个选项（A、B、C、D）和一个正确答案（Answer），用于评估和训练模型在广泛知识领域的理解和推理能力。数据集分为测试集和开发集，支持多主题配置，适用于自然语言处理任务，如问答系统、知识评估和模型基准测试。

This dataset is a large-scale multiple-choice question collection covering various academic disciplines, including agronomy, anatomy, ancient Chinese language, art, astronomy, business ethics, Chinese Civil Service Exam, Chinese Driving Regulations, Chinese Food Culture, China's Foreign Policy, Chinese History, Chinese Literature, Chinese Teacher Qualification Examination, Clinical Knowledge, University Actuarial Science, University Education, University Engineering Hydrology, University Law, University Mathematics, University Medical Statistics, University Medicine, Computer Science, Computer Security, Conceptual Physics, Construction Project Management, Economics, Education, Electrical Engineering, Primary School Chinese, Primary School General Knowledge, Primary School Information Technology, Primary School Mathematics, Ethnology, Food Science, Genetics, Global Facts, High School Biology, High School Chemistry, High School Geography, High School Mathematics, High School Physics, High School Politics, Human Sexuality, International Law, Journalism, Jurisprudence, Basics of Law and Morality, Logic, Machine Learning, Management, etc. Each data entry contains a question (marked as Question), four options (A, B, C, D) and a correct answer (marked as Answer), which is designed to evaluate and train models' understanding and reasoning capabilities across a broad range of knowledge fields. The dataset is split into a test set and a development set, supports multi-topic configuration, and is suitable for natural language processing tasks such as question answering systems, knowledge assessment and model benchmarking.

搜集汇总

数据集介绍

构建方式

CMMLU数据集是一个面向中文语境的大规模多任务语言理解评测基准，其构建方式严谨而系统。该数据集广泛覆盖了从基础学科到专业领域的67个主题，涵盖人文社科、自然科学、工程技术等多个维度。每个主题下的测试集与开发集均采用四选一的选择题形式，包含一道明确表述的问题（Question）、四个候选选项（A、B、C、D）以及一个标准答案（Answer）。开发集为每个主题提供5个样例，用于少样本学习或模型调优，而测试集则包含百余至数百个不等的样本，用于评估模型的真实知识掌握程度。数据来源于中国各类考试、教科书及专业文献，确保了题目的权威性与多样性。数据集以config划分为不同子集，便于研究者按需加载，整体设计旨在全面检验模型在中文各学科知识上的理解与推理能力。

特点

CMMLU数据集具有显著的结构化与系统性特点。其最核心的特征在于覆盖了67个细致划分的知识领域，从初等教育的基础常识如小学数学、信息技术，到高等教育的前沿学科如基因学、精算科学，再到中国特有的文化知识如古代文学、中医理论，展现了极强的领域广度与深度。每个子集规模适中，测试样本数通常在100至400之间，总计包含约一万余道题目，平衡了评测的全面性与单次任务的计算成本。数据集统一采用四选一标准格式，答案明确唯一，为自动评估提供了便利。此外，开发集与测试集的分离设计，支持了少样本学习和零样本评估等多样化评测范式。整体上，CMMLU不仅反映模型的中文语言能力，更侧重于检验其对中国本土知识体系的理解与整合水平。

使用方法

使用CMMLU数据集进行评测时，研究者可通过Hugging Face Datasets库便捷加载。加载时需指定具体的配置名称，如'load_dataset("cmmlu", "agronomy")'以获取农学子集。每个子集包含'test'和'dev'两个拆分，其中'dev'提供5个带答案样例，可用于上下文学习或提示工程构建。评估流程通常为：将测试集中的问题与选项拼接为完整输入，交由语言模型生成答案，再与标准答案进行精确匹配以计算准确率。为全面衡量模型能力，建议对所有67个子集分别测试，并汇总平均得分。该数据集适用于中文大语言模型的基准测试、知识蒸馏评估以及跨学科能力分析等场景，实验时需注意不同子集间的难度差异，并结合领域特性解读模型表现。

背景与挑战

背景概述

CMMLU（Chinese Massive Multitask Language Understanding）是由中国科研团队构建的大规模中文多任务理解数据集，旨在系统评估语言模型在中文语境下的知识广度与深度。该数据集诞生于大语言模型蓬勃发展但中文评估体系薄弱的背景下，核心研究问题是现有英文基准如MMLU难以全面反映模型在中文语言、文化及学科知识上的掌握程度。CMMLU涵盖从基础学科到专业领域的广泛主题，包含数十个学科的子集，为模型在农学、解剖学、古代汉语、法学、临床医学等领域的推理能力提供了严谨的测试基准。其对相关领域的影响力在于，填补了中文综合知识评估的空白，成为衡量中文大模型能力的重要标尺。

当前挑战

CMMLU面临的挑战首要在于领域问题的复杂性：现有模型在中文多学科知识融合推理上表现不足，尤其是对中文特有的文化背景、成语典故及专业术语的理解，易出现语义偏差，这要求模型具备深厚的语言与文化知识储备。在数据集构建过程中，挑战在于如何从海量中文教材、考试试题及学术资料中，精确筛选并生成覆盖各学科、难度层级分明且答案唯一的多选题。同时，需确保题目不依赖特定模型训练时可能见过的数据，避免数据泄露，并平衡各子集的样本量与代表性，以公正反映模型在广泛知识维度上的真实能力。

常用场景

经典使用场景

CMMLU数据集作为一项覆盖中国语言与文化背景的多学科知识评估基准，广泛应用于大规模语言模型的中文能力评测。其设计核心在于通过涵盖从基础学科到专业领域、从初等教育到高等教育的67个学科主题，全方位衡量模型在中文语境下的知识储备与推理深度。研究者通常利用该数据集的测试集，在零样本或少样本设置下评估模型对中文事实性知识的掌握程度，亦或将其作为微调阶段的目标语料，以增强模型在中文特定领域（如法律、医学、工程）的表现。由于每个子集均配备数百道四选一题目，其结构兼具规模性与专业性，成为检验模型中文理解与领域专长的经典标杆。

衍生相关工作

围绕CMMLU衍生出多项具有影响力的研究工作，其中最具代表性的是针对中文大模型特定知识领域的专项分析，例如探究模型在中医、中国古代文学等特色学科上的表现缺陷，继而催生知识增强型微调方法。部分学者基于该数据集构建了细粒度能力评估框架，将模型表现与学科难度、题型复杂度相关联，从而指导预训练数据的优化配比。同时，CMMLU也作为重要评测基准出现在中文多模态大模型（如CogVLM、Qwen-VL）的论文中，用于验证模型在图文结合场景下的中文知识推理能力。这些衍生工作进一步巩固了CMMLU作为中文大模型评测核心地位的作用。

数据集最近研究

最新研究方向

CMMLU数据集作为中文大规模多学科知识理解基准，当前前沿研究方向聚焦于评估大语言模型在涵盖农学、法学、医学等67个学科领域中的中文知识掌握与推理能力。该数据集紧密关联国产大模型如GPT-4、ChatGLM、文心一言等的中文能力评测热点事件，尤其在公务员考试、教师资格等中国特有场景下的表现备受关注。CMMLU的推出填补了中文综合性知识评估的空白，为模型在跨学科、深层次理解上的性能优化提供了关键标尺，其影响深远，不仅推动了中文自然语言处理研究的进展，也为模型在教育、法律等专业领域的可靠应用奠定了评价基础。