hails/mmlu_no_train

---
language:
- en
license: mit
task_categories:
- question-answering
pretty_name: MMLU loader with no auxiliary train set
dataset_info:
config_name: all
features:
- name: question
dtype: string
- name: subject
dtype: string
- name: choices
sequence: string
- name: answer
dtype:
class_label:
names:
'0': A
'1': B
'2': C
'3': D
splits:
- name: test
num_bytes: 6967453
num_examples: 14042
- name: validation
num_bytes: 763484
num_examples: 1531
- name: dev
num_bytes: 125353
num_examples: 285
download_size: 3987384
dataset_size: 7856290
configs:
- config_name: all
data_files:
- split: test
path: all/test-*
- split: validation
path: all/validation-*
- split: dev
path: all/dev-*
---
This dataset contains a copy of the `cais/mmlu` HF dataset but without the `auxiliary_train` split that takes a long time to generate again each time when loading multiple subsets of the dataset.

Please visit https://huggingface.co/datasets/cais/mmlu for more information on the MMLU dataset.

语言：
- 英语
许可证：MIT许可证
任务类别：
- 问答任务
展示名称：无辅助训练集的MMLU数据集加载器
数据集信息：
配置名称：all
特征：
- 名称：问题
数据类型：字符串
- 名称：主题
数据类型：字符串
- 名称：选项
数据类型：字符串序列
- 名称：答案
数据类型：
类别标签：
命名映射：
'0': A
'1': B
'2': C
'3': D
拆分：
- 名称：测试集
字节数：6967453
样本数：14042
- 名称：验证集
字节数：763484
样本数：1531
- 名称：开发集
字节数：125353
样本数：285
下载大小：3987384
数据集总大小：7856290
配置：
- 配置名称：all
数据文件：
- 拆分：测试集
路径：all/test-*
- 拆分：验证集
路径：all/validation-*
- 拆分：开发集
路径：all/dev-*

本数据集为`cais/mmlu` Hugging Face（HF）数据集的副本，但移除了`auxiliary_train`拆分——该拆分在每次加载数据集的多个子集时均需重新生成，耗时较长。

如需了解MMLU数据集的更多信息，请访问https://huggingface.co/datasets/cais/mmlu。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 任务类别: 问答
• 数据集名称: MMLU loader with no auxiliary train set

数据集配置

• 配置名称: all

数据特征

• 问题: 字符串类型
• 主题: 字符串类型
• 选项: 字符串序列
• 答案: 类别标签类型，包含以下选项:
  • 0: A
  • 1: B
  • 2: C
  • 3: D

数据集分割

• 测试集:
  • 字节数: 6967453
  • 样本数: 14042
• 验证集:
  • 字节数: 763484
  • 样本数: 1531
• 开发集:
  • 字节数: 125353
  • 样本数: 285

数据集大小

• 下载大小: 3987384 字节
• 数据集大小: 7856290 字节

数据文件配置

• 配置名称: all
• 数据文件:
  • 测试集: all/test-*
  • 验证集: all/validation-*
  • 开发集: all/dev-*

搜集汇总

背景与挑战

背景概述

该数据集是MMLU（大规模多任务语言理解）数据集的一个变体，移除了'auxiliary_train'分割以优化加载效率。它包含58个子集，覆盖数学、科学、人文等多个领域的问答任务，旨在评估语言模型的综合知识理解能力。数据集规模为15,858行，采用MIT许可证，适用于英文文本的问答任务。