hails/mmlu_no_train

---
language:
- en
license: mit
task_categories:
- question-answering
pretty_name: MMLU loader with no auxiliary train set
dataset_info:
config_name: all
features:
- name: question
dtype: string
- name: subject
dtype: string
- name: choices
sequence: string
- name: answer
dtype:
class_label:
names:
'0': A
'1': B
'2': C
'3': D
splits:
- name: test
num_bytes: 6967453
num_examples: 14042
- name: validation
num_bytes: 763484
num_examples: 1531
- name: dev
num_bytes: 125353
num_examples: 285
download_size: 3987384
dataset_size: 7856290
configs:
- config_name: all
data_files:
- split: test
path: all/test-*
- split: validation
path: all/validation-*
- split: dev
path: all/dev-*
---
This dataset contains a copy of the `cais/mmlu` HF dataset but without the `auxiliary_train` split that takes a long time to generate again each time when loading multiple subsets of the dataset.

Please visit https://huggingface.co/datasets/cais/mmlu for more information on the MMLU dataset.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 任务类别: 问答
• 数据集名称: MMLU loader with no auxiliary train set

数据集配置

• 配置名称: all

数据特征

• 问题: 字符串类型
• 主题: 字符串类型
• 选项: 字符串序列
• 答案: 类别标签类型，包含以下选项:
  • 0: A
  • 1: B
  • 2: C
  • 3: D

数据集分割

• 测试集:
  • 字节数: 6967453
  • 样本数: 14042
• 验证集:
  • 字节数: 763484
  • 样本数: 1531
• 开发集:
  • 字节数: 125353
  • 样本数: 285

数据集大小

• 下载大小: 3987384 字节
• 数据集大小: 7856290 字节

数据文件配置

• 配置名称: all
• 数据文件:
  • 测试集: all/test-*
  • 验证集: all/validation-*
  • 开发集: all/dev-*

搜集汇总

背景与挑战

背景概述

该数据集是MMLU（大规模多任务语言理解）数据集的一个变体，移除了'auxiliary_train'分割以优化加载效率。它包含58个子集，覆盖数学、科学、人文等多个领域的问答任务，旨在评估语言模型的综合知识理解能力。数据集规模为15,858行，采用MIT许可证，适用于英文文本的问答任务。