HasturOfficial/mmlu

该数据集包含多个主题或领域的多项选择题，涵盖了抽象代数、解剖学、天文学、商业伦理、临床知识、大学生物学、大学化学、大学计算机科学、大学数学、大学医学、大学物理学、计算机安全、概念物理学、计量经济学、电气工程、初等数学、形式逻辑、全球事实、高中生物学、高中化学、高中计算机科学、高中欧洲历史、高中地理、高中政府与政治、高中宏观经济学、高中数学、高中微观经济学、高中物理学、高中心理学、高中统计学、高中美国历史、高中世界历史、人类衰老、人类性行为、国际法、法理学、逻辑谬误等多个领域。每个主题的数据集包含问题、主题、选项和答案，并分为测试集、验证集和开发集。

原始信息汇总

数据集概述

该数据集包含多个子集，每个子集对应不同的学科领域。每个子集包含以下特征：

• question: 问题，数据类型为字符串。
• subject: 学科，数据类型为字符串。
• choices: 选项，数据类型为字符串序列。
• answer: 答案，数据类型为分类标签，标签名称为 A, B, C, D。

每个子集包含以下分割：

• test: 测试集
• validation: 验证集
• dev: 开发集

每个分割包含 num_bytes（字节数）和 num_examples（样本数）。

子集详情

abstract_algebra

• 特征: 如上所述
• 分割:
  • test: 21316 字节, 100 样本
  • validation: 2232 字节, 11 样本
  • dev: 918 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 24466 字节

all

• 特征: 如上所述
• 分割:
  • test: 6967453 字节, 14042 样本
  • validation: 763484 字节, 1531 样本
  • dev: 125353 字节, 285 样本
• 下载大小: 166184960 字节
• 数据集大小: 7856290 字节

anatomy

• 特征: 如上所述
• 分割:
  • test: 34594 字节, 135 样本
  • validation: 3282 字节, 14 样本
  • dev: 1010 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 38886 字节

astronomy

• 特征: 如上所述
• 分割:
  • test: 48735 字节, 152 样本
  • validation: 5223 字节, 16 样本
  • dev: 2129 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 56087 字节

business_ethics

• 特征: 如上所述
• 分割:
  • test: 35140 字节, 100 样本
  • validation: 3235 字节, 11 样本
  • dev: 2273 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 40648 字节

clinical_knowledge

• 特征: 如上所述
• 分割:
  • test: 68572 字节, 265 样本
  • validation: 7290 字节, 29 样本
  • dev: 1308 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 77170 字节

college_biology

• 特征: 如上所述
• 分割:
  • test: 51521 字节, 144 样本
  • validation: 5111 字节, 16 样本
  • dev: 1615 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 58247 字节

college_chemistry

• 特征: 如上所述
• 分割:
  • test: 26796 字节, 100 样本
  • validation: 2484 字节, 8 样本
  • dev: 1424 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 30704 字节

college_computer_science

• 特征: 如上所述
• 分割:
  • test: 45429 字节, 100 样本
  • validation: 4959 字节, 11 样本
  • dev: 2893 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 53281 字节

college_mathematics

• 特征: 如上所述
• 分割:
  • test: 26999 字节, 100 样本
  • validation: 2909 字节, 11 样本
  • dev: 1596 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 31504 字节

college_medicine

• 特征: 如上所述
• 分割:
  • test: 85845 字节, 173 样本
  • validation: 8337 字节, 22 样本
  • dev: 1758 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 95940 字节

college_physics

• 特征: 如上所述
• 分割:
  • test: 32107 字节, 102 样本
  • validation: 3687 字节, 11 样本
  • dev: 1495 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 37289 字节

computer_security

• 特征: 如上所述
• 分割:
  • test: 29212 字节, 100 样本
  • validation: 4768 字节, 11 样本
  • dev: 1194 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 35174 字节

conceptual_physics

• 特征: 如上所述
• 分割:
  • test: 45867 字节, 235 样本
  • validation: 5034 字节, 26 样本
  • dev: 1032 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 51933 字节

econometrics

• 特征: 如上所述
• 分割:
  • test: 48359 字节, 114 样本
  • validation: 5147 字节, 12 样本
  • dev: 1712 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 55218 字节

electrical_engineering

• 特征: 如上所述
• 分割:
  • test: 28900 字节, 145 样本
  • validation: 3307 字节, 16 样本
  • dev: 1090 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 33297 字节

elementary_mathematics

• 特征: 如上所述
• 分割:
  • test: 79924 字节, 378 样本
  • validation: 10042 字节, 41 样本
  • dev: 1558 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 91524 字节

formal_logic

• 特征: 如上所述
• 分割:
  • test: 51789 字节, 126 样本
  • validation: 6464 字节, 14 样本
  • dev: 1825 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 60078 字节

global_facts

• 特征: 如上所述
• 分割:
  • test: 19991 字节, 100 样本
  • validation: 2013 字节, 10 样本
  • dev: 1297 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 23301 字节

high_school_biology

• 特征: 如上所述
• 分割:
  • test: 116850 字节, 310 样本
  • validation: 11746 字节, 32 样本
  • dev: 1776 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 130372 字节

high_school_chemistry

• 特征: 如上所述
• 分割:
  • test: 63527 字节, 203 样本
  • validation: 7630 字节, 22 样本
  • dev: 1333 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 72490 字节

high_school_computer_science

• 特征: 如上所述
• 分割:
  • test: 47664 字节, 100 样本
  • validation: 3619 字节, 9 样本
  • dev: 3066 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 54349 字节

high_school_european_history

• 特征: 如上所述
• 分割:
  • test: 275568 字节, 165 样本
  • validation: 30196 字节, 18 样本
  • dev: 11712 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 317476 字节

high_school_geography

• 特征: 如上所述
• 分割:
  • test: 46972 字节, 198 样本
  • validation: 4870 字节, 22 样本
  • dev: 1516 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 53358 字节

high_school_government_and_politics

• 特征: 如上所述
• 分割:
  • test: 73589 字节, 193 样本
  • validation: 7870 字节, 21 样本
  • dev: 1962 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 83421 字节

high_school_macroeconomics

• 特征: 如上所述
• 分割:
  • test: 129375 字节, 390 样本
  • validation: 14298 字节, 43 样本
  • dev: 1466 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 145139 字节

high_school_mathematics

• 特征: 如上所述
• 分割:
  • test: 62132 字节, 270 样本
  • validation: 6536 字节, 29 样本
  • dev: 1420 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 70088 字节

high_school_microeconomics

• 特征: 如上所述
• 分割:
  • test: 82831 字节, 238 样本
  • validation: 8321 字节, 26 样本
  • dev: 1436 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 92588 字节

high_school_physics

• 特征: 如上所述
• 分割:
  • test: 62999 字节, 151 样本
  • validation: 7150 字节, 17 样本
  • dev: 1592 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 71741 字节

high_school_psychology

• 特征: 如上所述
• 分割:
  • test: 173565 字节, 545 样本
  • validation: 18817 字节, 60 样本
  • dev: 2023 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 194405 字节

high_school_statistics

• 特征: 如上所述
• 分割:
  • test: 116306 字节, 216 样本
  • validation: 10583 字节, 23 样本
  • dev: 2646 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 129535 字节

high_school_us_history

• 特征: 如上所述
• 分割:
  • test: 302026 字节, 204 样本
  • validation: 32266 字节, 22 样本
  • dev: 8982 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 343274 字节

high_school_world_history

• 特征: 如上所述
• 分割:
  • test: 385478 字节, 237 样本
  • validation: 46243 字节, 26 样本
  • dev: 5015 字节, 5 样本
• 下载大小: 166184960 字节
• 数据集大小: 436736 字节

human_aging