HasturOfficial/mmlu

该数据集包含多个主题或领域的多项选择题，涵盖了抽象代数、解剖学、天文学、商业伦理、临床知识、大学生物学、大学化学、大学计算机科学、大学数学、大学医学、大学物理学、计算机安全、概念物理学、计量经济学、电气工程、初等数学、形式逻辑、全球事实、高中生物学、高中化学、高中计算机科学、高中欧洲历史、高中地理、高中政府与政治、高中宏观经济学、高中数学、高中微观经济学、高中物理学、高中心理学、高中统计学、高中美国历史、高中世界历史、人类衰老、人类性行为、国际法、法理学、逻辑谬误等多个领域。每个主题的数据集包含问题、主题、选项和答案，并分为测试集、验证集和开发集。

This dataset contains multiple-choice questions covering a wide range of subjects and fields, including abstract algebra, anatomy, astronomy, business ethics, clinical knowledge, college biology, college chemistry, college computer science, college mathematics, college medicine, college physics, computer security, conceptual physics, econometrics, electrical engineering, elementary mathematics, formal logic, global facts, high school biology, high school chemistry, high school computer science, high school European history, high school geography, high school government and politics, high school macroeconomics, high school mathematics, high school microeconomics, high school physics, high school psychology, high school statistics, high school American history, high school world history, human aging, human sexuality, international law, jurisprudence, and logical fallacies. Each subject-specific dataset includes questions, subject category, options, and correct answers, and is divided into test set, validation set, and development set.

原始信息汇总

数据集概述

该数据集包含多个子集，每个子集对应不同的学科领域。每个子集包含以下特征：

• question: 问题，数据类型为字符串。
• subject: 学科，数据类型为字符串。
• choices: 选项，数据类型为字符串序列。
• answer: 答案，数据类型为分类标签，标签名称为 A, B, C, D。

每个子集包含以下分割：

• test: 测试集
• validation: 验证集
• dev: 开发集

每个分割包含 num_bytes（字节数）和 num_examples（样本数）。

子集详情

abstract_algebra

• 特征: 如上所述
• 分割:
  • test: 21316 字节, 100 样本
  • validation: 2232 字节, 11 样本
  • dev: 918 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 24466 字节

all

• 特征: 如上所述
• 分割:
  • test: 6967453 字节, 14042 样本
  • validation: 763484 字节, 1531 样本
  • dev: 125353 字节, 285 样本
• 下载大小: 166184960 字节
• 数据集大小: 7856290 字节

anatomy

• 特征: 如上所述
• 分割:
  • test: 34594 字节, 135 样本
  • validation: 3282 字节, 14 样本
  • dev: 1010 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 38886 字节

astronomy

• 特征: 如上所述
• 分割:
  • test: 48735 字节, 152 样本
  • validation: 5223 字节, 16 样本
  • dev: 2129 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 56087 字节

business_ethics

• 特征: 如上所述
• 分割:
  • test: 35140 字节, 100 样本
  • validation: 3235 字节, 11 样本
  • dev: 2273 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 40648 字节

clinical_knowledge

• 特征: 如上所述
• 分割:
  • test: 68572 字节, 265 样本
  • validation: 7290 字节, 29 样本
  • dev: 1308 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 77170 字节

college_biology

• 特征: 如上所述
• 分割:
  • test: 51521 字节, 144 样本
  • validation: 5111 字节, 16 样本
  • dev: 1615 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 58247 字节

college_chemistry

• 特征: 如上所述
• 分割:
  • test: 26796 字节, 100 样本
  • validation: 2484 字节, 8 样本
  • dev: 1424 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 30704 字节

college_computer_science

• 特征: 如上所述
• 分割:
  • test: 45429 字节, 100 样本
  • validation: 4959 字节, 11 样本
  • dev: 2893 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 53281 字节

college_mathematics

• 特征: 如上所述
• 分割:
  • test: 26999 字节, 100 样本
  • validation: 2909 字节, 11 样本
  • dev: 1596 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 31504 字节

college_medicine

• 特征: 如上所述
• 分割:
  • test: 85845 字节, 173 样本
  • validation: 8337 字节, 22 样本
  • dev: 1758 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 95940 字节

college_physics

• 特征: 如上所述
• 分割:
  • test: 32107 字节, 102 样本
  • validation: 3687 字节, 11 样本
  • dev: 1495 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 37289 字节

computer_security

• 特征: 如上所述
• 分割:
  • test: 29212 字节, 100 样本
  • validation: 4768 字节, 11 样本
  • dev: 1194 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 35174 字节

conceptual_physics

• 特征: 如上所述
• 分割:
  • test: 45867 字节, 235 样本
  • validation: 5034 字节, 26 样本
  • dev: 1032 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 51933 字节

econometrics

• 特征: 如上所述
• 分割:
  • test: 48359 字节, 114 样本
  • validation: 5147 字节, 12 样本
  • dev: 1712 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 55218 字节

electrical_engineering

• 特征: 如上所述
• 分割:
  • test: 28900 字节, 145 样本
  • validation: 3307 字节, 16 样本
  • dev: 1090 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 33297 字节

elementary_mathematics

• 特征: 如上所述
• 分割:
  • test: 79924 字节, 378 样本
  • validation: 10042 字节, 41 样本
  • dev: 1558 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 91524 字节

formal_logic

• 特征: 如上所述
• 分割:
  • test: 51789 字节, 126 样本
  • validation: 6464 字节, 14 样本
  • dev: 1825 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 60078 字节

global_facts

• 特征: 如上所述
• 分割:
  • test: 19991 字节, 100 样本
  • validation: 2013 字节, 10 样本
  • dev: 1297 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 23301 字节

high_school_biology

• 特征: 如上所述
• 分割:
  • test: 116850 字节, 310 样本
  • validation: 11746 字节, 32 样本
  • dev: 1776 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 130372 字节

high_school_chemistry

• 特征: 如上所述
• 分割:
  • test: 63527 字节, 203 样本
  • validation: 7630 字节, 22 样本
  • dev: 1333 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 72490 字节

high_school_computer_science

• 特征: 如上所述
• 分割:
  • test: 47664 字节, 100 样本
  • validation: 3619 字节, 9 样本
  • dev: 3066 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 54349 字节

high_school_european_history

• 特征: 如上所述
• 分割:
  • test: 275568 字节, 165 样本
  • validation: 30196 字节, 18 样本
  • dev: 11712 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 317476 字节

high_school_geography

• 特征: 如上所述
• 分割:
  • test: 46972 字节, 198 样本
  • validation: 4870 字节, 22 样本
  • dev: 1516 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 53358 字节

high_school_government_and_politics

• 特征: 如上所述
• 分割:
  • test: 73589 字节, 193 样本
  • validation: 7870 字节, 21 样本
  • dev: 1962 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 83421 字节

high_school_macroeconomics

• 特征: 如上所述
• 分割:
  • test: 129375 字节, 390 样本
  • validation: 14298 字节, 43 样本
  • dev: 1466 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 145139 字节

high_school_mathematics

• 特征: 如上所述
• 分割:
  • test: 62132 字节, 270 样本
  • validation: 6536 字节, 29 样本
  • dev: 1420 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 70088 字节

high_school_microeconomics

• 特征: 如上所述
• 分割:
  • test: 82831 字节, 238 样本
  • validation: 8321 字节, 26 样本
  • dev: 1436 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 92588 字节

high_school_physics

• 特征: 如上所述
• 分割:
  • test: 62999 字节, 151 样本
  • validation: 7150 字节, 17 样本
  • dev: 1592 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 71741 字节

high_school_psychology

• 特征: 如上所述
• 分割:
  • test: 173565 字节, 545 样本
  • validation: 18817 字节, 60 样本
  • dev: 2023 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 194405 字节

high_school_statistics

• 特征: 如上所述
• 分割:
  • test: 116306 字节, 216 样本
  • validation: 10583 字节, 23 样本
  • dev: 2646 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 129535 字节

high_school_us_history

• 特征: 如上所述
• 分割:
  • test: 302026 字节, 204 样本
  • validation: 32266 字节, 22 样本
  • dev: 8982 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 343274 字节

high_school_world_history

• 特征: 如上所述
• 分割:
  • test: 385478 字节, 237 样本
  • validation: 46243 字节, 26 样本
  • dev: 5015 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 436736 字节

human_aging

搜集汇总

数据集介绍

构建方式

MMLU（Massive Multitask Language Understanding）数据集旨在评估语言模型在广泛知识领域上的理解与推理能力。其构建方式基于从中学到大学水平的各类学科考试题目，涵盖抽象代数、解剖学、天文学、商业伦理、临床知识、计算机科学、经济学、法学、心理学、统计学等57个学科。每个配置项均包含问题（question）、学科（subject）、选项（choices）及正确答案（answer）四个字段，其中答案以四选一的类别标签形式编码。数据集被划分为测试集（test）、验证集（validation）和开发集（dev），各学科样本数量从100至数百不等，总计包含约14042个测试样本、1531个验证样本及285个开发样本。通过这种结构化的多学科题目汇编，MMLU为评估模型在零样本或少样本场景下的泛化能力提供了基准。

使用方法

使用MMLU数据集时，研究者可通过HuggingFace Datasets库直接加载，利用其提供的多配置接口按需选择特定学科或全量数据。典型的评估流程包括将问题与选项拼接为输入序列，要求模型输出对应答案的字母标签。支持零样本（zero-shot）与少样本（few-shot）两种范式，后者可利用开发集中的示例进行上下文学习。加载后，数据集以字典形式返回，包含question、subject、choices与answer字段，其中choices为字符串列表，answer为整数型类别标签。建议对模型输出进行标准化处理，将其映射至A至D的选项空间，并与真实标签比对以计算准确率。

背景与挑战

背景概述

在大规模语言模型迅猛发展的浪潮中，如何系统性地评估模型在多个学科领域的知识掌握程度，成为自然语言处理研究的一项核心挑战。Massive Multitask Language Understanding（MMLU）数据集应运而生，由Hendrycks等研究者于2020年提出，旨在通过涵盖人文、社科、理工、医学等57个学科的多元选择题，全面衡量语言模型的知识广度与推理能力。该数据集自发布以来，迅速成为评估GPT-4、LLaMA等前沿模型的关键基准，其影响力贯穿于模型预训练、微调及对比评测的全流程，推动了语言模型从单一任务向通才型智能的演进。

当前挑战

MMLU数据集所面临的挑战首先体现在其覆盖的领域问题之广博上——模型需在抽象代数、临床知识、法学等跨度极大的学科间自如切换，这对模型的跨领域泛化能力提出了严苛要求。构建过程中，研究团队需从标准测试中精选题目，并确保每个学科拥有足够且均衡的样本量，以避免数据稀疏或分布偏差；同时，如何设计具有区分度的干扰项，防止模型通过模式匹配而非真正理解来作答，亦是数据构建中的一大难点。此外，随着知识更新与模型能力的提升，原有题目的时效性与难度适配性也持续构成挑战。

常用场景

经典使用场景

在自然语言处理与人工智能的交叉领域，MMLU（Massive Multitask Language Understanding）数据集凭借其涵盖57个学科、横跨人文社科与自然科学的多选题设计，成为评估大语言模型知识广度与推理深度的标杆性基准。研究者通过零样本或少样本提示范式，将模型在抽象代数、临床知识、法学等细分领域的作答准确率作为核心度量，系统性地揭示模型在通识教育水平上的认知边界。该数据集独特的学科分层结构，使得跨领域迁移能力与知识遗忘现象的量化分析成为可能，为理解模型的内在知识表征提供了可复现的标准化测试框架。

解决学术问题

MMLU的诞生有效填补了学术界对大语言模型进行多学科知识综合评估的空白。传统基准多聚焦于单一任务或狭窄领域，难以反映模型在真实应用场景中的知识覆盖度。该数据集通过构建包含初等数学至大学物理的层级化知识图谱，首次实现了从高中到专业水平的认知阶梯式评测，解决了模型在跨学科推理、常识与专业知识边界界定等关键问题上的量化难题。其发布推动了关于模型知识遗忘、灾难性遗忘以及领域间知识迁移机制的研究，成为检验模型是否具备类人通识素养的核心试金石。

实际应用

在实际产业应用中，MMLU被广泛用作大语言模型上线前的知识完备性验证工具。科技企业在开发教育辅导、智能问答系统及法律咨询等专业服务时，借助该数据集筛选模型在对应学科上的表现，以规避因知识盲区引发的错误输出。此外，金融、医疗等高风险领域通过定制化子集（如临床知识、经济学）进行模型准入评估，确保AI系统在专业场景下的可靠性。该数据集还驱动了知识蒸馏技术的优化，使轻量化模型在保持推理能力的同时，更精准地适配特定行业的知识需求。

数据集最近研究

最新研究方向

随着大规模语言模型在复杂推理与多学科知识融合领域的迅猛发展，MMLU数据集已成为评估模型通用知识广度与深度不可或缺的基准。当前前沿研究聚焦于利用该数据集对模型进行跨学科能力诊断，揭示其在抽象代数、临床医学、宏观经济学等57个学科上的表现差异，并探索如何通过提示工程、检索增强生成或领域微调等策略提升模型在薄弱科目上的准确性。这一研究方向不仅推动了模型在学术问答、智能教育等应用场景中的落地，更引发了关于模型知识边界与推理可靠性的广泛讨论，为构建更稳健、更具常识的通用人工智能系统提供了关键评估依据。