aptl26/mmlu_mcq

该数据集包含多个类别的问题和答案，涵盖STEM、地理、化学、哲学、健康、文化、社会科学、历史、商业和法律等领域。每个类别包含157个示例，每个示例包括一个问题、多个选项和一个正确答案。数据集的总下载大小为453376字节，总大小为746369字节。

This dataset contains questions and answers across multiple categories, including STEM, geography, chemistry, philosophy, health, culture, social sciences, history, business, and law. Each category includes 157 examples, with each example consisting of a question, multiple choices, and a correct answer. The total download size of the dataset is 453376 bytes, and the total size is 746369 bytes.

原始信息汇总

数据集概述

数据集特征

• question: 问题描述，数据类型为字符串。
• choices: 选项列表，数据类型为字符串序列。
• answer: 答案，数据类型为整数（int64）。

数据集分割

• mmlu__STEM: 包含157个样本，数据大小为46471字节。
• mmlu__geography: 包含157个样本，数据大小为32993字节。
• mmlu__chemistry: 包含157个样本，数据大小为43777字节。
• mmlu__philosophy: 包含157个样本，数据大小为54911字节。
• mmlu__health: 包含157个样本，数据大小为49795字节。
• mmlu__culture: 包含157个样本，数据大小为46776字节。
• mmlu__social_sciences: 包含157个样本，数据大小为79715字节。
• mmlu__history: 包含157个样本，数据大小为173490字节。
• mmlu__business: 包含157个样本，数据大小为40698字节。
• mmlu__law: 包含157个样本，数据大小为177743字节。

数据集大小

• 下载大小: 453376字节
• 数据集总大小: 746369字节

配置

• config_name: default
  • 数据文件路径:
    • mmlu__STEM: data/mmlu__STEM-*
    • mmlu__geography: data/mmlu__geography-*
    • mmlu__chemistry: data/mmlu__chemistry-*
    • mmlu__philosophy: data/mmlu__philosophy-*
    • mmlu__health: data/mmlu__health-*
    • mmlu__culture: data/mmlu__culture-*
    • mmlu__social_sciences: data/mmlu__social_sciences-*
    • mmlu__history: data/mmlu__history-*
    • mmlu__business: data/mmlu__business-*
    • mmlu__law: data/mmlu__law-*

搜集汇总

数据集介绍

构建方式

在自然语言处理与知识评估的交叉领域中，aptl26/mmlu_mcq数据集应运而生，旨在为多学科知识推理提供基准测试平台。该数据集构建于MMLU（Massive Multitask Language Understanding）框架之上，通过精选涵盖科学、技术、工程、数学、地理、化学、哲学、健康、文化、社会科学、历史、商业及法律等十个领域的多项选择题，形成结构化评估体系。每个样本包含一个问题文本、四个选项序列以及一个整数索引标注的正确选项，数据以分片形式组织，各领域独立存储为子集，确保了领域特性的清晰分离与高效加载。

特点

该数据集的核心特点在于其跨学科广度与均衡样本设计。十个子集各含157个样本，总规模约746KB，虽体量精巧但覆盖领域极为多元，从STEM到人文学科均有所涉猎，为评估语言模型在多领域知识迁移能力提供了标准化测试集。每个样本的选项以序列形式存储，答案以整数索引标识，结构简洁而明确，便于直接用于多选题推理任务。此外，数据集以分片方式发布，支持按需加载特定领域子集，兼顾了灵活性与高效性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库加载，指定配置名为'default'，并利用split参数选择特定领域子集（如'mmlu__STEM'）或全部数据进行遍历。每个样本的question字段作为输入，choices字段作为候选答案列表，answer字段作为标签，适用于构建分类或排序模型。建议在评估时以准确率作为主要指标，并注意各领域子集样本量一致，可直接计算领域内及跨领域性能对比。数据预处理时，可将选项拼接为带编号的文本，与问题一同输入模型，提取logits后取最大值对应索引作为预测结果。

背景与挑战

背景概述

在自然语言处理与人工智能领域，大规模多任务语言理解（MMLU）基准测试自2020年由OpenAI等研究机构提出以来，已成为衡量语言模型跨学科知识掌握程度的核心指标。aptl26/mmlu_mcq数据集正是基于MMLU框架构建的多选题问答数据集，旨在系统评估模型在STEM、地理、化学、哲学、健康、文化、社会科学、历史、商业、法律等十个学科领域的推理与知识应用能力。该数据集由研究者aptl26整理发布，每个学科包含157道精心设计的选择题，覆盖从基础概念到复杂逻辑的多元层次。通过将学科细分为独立子集，该数据集不仅为模型提供了细粒度的能力评估工具，还为跨领域知识迁移研究奠定了数据基础，对推动语言模型在通用知识理解与推理任务中的发展具有重要影响力。

当前挑战

该数据集所解决的领域问题在于，传统语言模型评测多聚焦于单一任务或狭窄领域，难以全面反映模型在广泛学科中的综合理解能力。MMLU基准通过涵盖十个跨学科子集，要求模型在无额外训练的情况下直接回答多选题，这考验了模型的知识广度、语境推理与答案选择能力，对当前大语言模型在通用智能评估上提出了严峻挑战。在数据集构建过程中，挑战主要体现在：一、确保每个学科子集内问题难度与知识覆盖的均衡性，避免偏向特定知识点或简单记忆型问题；二、设计合理的干扰选项以提升评测的区分度，防止模型通过模式匹配而非真正理解作答；三、维持各子集样本数量一致（均为157例），在有限样本中最大化学科代表性，同时避免数据冗余与偏差引入。

常用场景

经典使用场景

在自然语言处理与知识推理的交叉领域中，aptl26/mmlu_mcq数据集以其涵盖STEM、地理、化学、哲学、健康、文化、社会科学、历史、商业、法律等十个学科的多选题形式，成为评估大语言模型跨领域知识掌握程度的标杆。经典使用场景包括对模型进行零样本或少样本条件下的知识问答测试，通过分析模型在57个学科子集上的准确率，系统性地衡量其事实性知识储备与逻辑推理能力。该数据集的设计强调学科广度与问题深度，为比较不同模型在多元化知识体系下的表现提供了标准化基准。

实际应用

在实际应用中，该数据集被广泛用于教育科技领域的智能辅导系统开发，例如通过模型在化学或历史子集上的表现，定制个性化学习路径并自动生成学科知识短板报告。同时，企业级知识问答系统借助该数据集进行领域适配性测试，确保模型在法律咨询或商业决策等场景中输出可靠答案。此外，内容审核与信息检索系统也利用其多学科特性，验证模型在跨领域事实一致性上的鲁棒性，从而提升实际部署中的可信度。

衍生相关工作

基于该数据集，学术界衍生了一系列经典工作，包括MMLU-Pro等扩展版本，通过增加题目难度与对抗性样本进一步挑战模型推理极限。此外，研究者开发了学科知识图谱增强方法，将数据集与外部知识库结合以提升模型在低资源学科上的表现。还有工作聚焦于模型偏差分析，利用该数据集的分学科特性，系统研究训练数据分布不均导致的学科偏好问题，并提出了多任务学习与课程学习策略来缓解此类偏差，推动了公平性评估方法的发展。