justinphan3110/mmlu-test

该数据集名为Measuring Massive Multitask Language Understanding（MMLU），是一个用于评估大规模多任务语言理解能力的数据集。数据集包含多个主题领域（如抽象代数、解剖学、天文学等），每个主题领域下都有多个选择题。数据集的特征包括问题、主题、选项和答案，并分为测试集、验证集和开发集。数据集为单语（英语），适用于问答任务中的多项选择题。

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: MIT
• 多语言性: 单语种
• 大小: 10K<n<100K
• 数据来源: 原始数据
• 任务类别: 问答
• 任务ID: 多选题问答 (multiple-choice-qa)
• Papers with Code ID: mmlu
• 名称: Measuring Massive Multitask Language Understanding

数据集结构

特征

• 问题 (question): 字符串类型
• 主题 (subject): 字符串类型
• 选项 (choices): 字符串序列类型
• 答案 (answer): 分类标签类型，选项为A, B, C, D

分割

• 测试集 (test): 示例数量和字节数因子集而异
• 验证集 (validation): 示例数量和字节数因子集而异
• 开发集 (dev): 示例数量和字节数因子集而异

子集详情

• 抽象代数 (abstract_algebra):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 17143字节
  • 数据集大小: 57303.3562203159字节

• 全部 (all):

  • 测试集: 14042个示例，6967453字节
  • 验证集: 1531个示例，763484字节
  • 开发集: 285个示例，125353字节
  • 辅助训练集: 99842个示例，161000625字节
  • 下载大小: 51503402字节
  • 数据集大小: 168856915字节

• 解剖学 (anatomy):

  • 测试集: 135个示例，66985.19833357072字节
  • 验证集: 14个示例，6981.5649902024825字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 28864字节
  • 数据集大小: 76165.9387623697字节

• 天文学 (astronomy):

  • 测试集: 152个示例，75420.3714570574字节
  • 验证集: 16个示例，7978.931417374265字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 39316字节
  • 数据集大小: 85598.47831302814字节

• 商业伦理 (business_ethics):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 31619字节
  • 数据集大小: 57303.3562203159字节

• 临床知识 (clinical_knowledge):

  • 测试集: 265个示例，131489.4633955277字节
  • 验证集: 29个示例，14461.813193990856字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 51655字节
  • 数据集大小: 148150.45202811505字节

• 大学生物学 (college_biology):

  • 测试集: 144个示例，71450.87822247542字节
  • 验证集: 16个示例，7978.931417374265字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 43017字节
  • 数据集大小: 81628.98507844617字节

• 大学化学 (college_chemistry):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 8个示例，3989.4657086871325字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 26781字节
  • 数据集大小: 55807.30657955822字节

• 大学计算机科学 (college_computer_science):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 41132字节
  • 数据集大小: 57303.3562203159字节

• 大学数学 (college_mathematics):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 26779字节
  • 数据集大小: 57303.3562203159字节

• 大学医学 (college_medicine):

  • 测试集: 173个示例，85840.29119783506字节
  • 验证集: 22个示例，10971.030698889615字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 56303字节
  • 数据集大小: 99010.49733532117字节

• 大学物理 (college_physics):

  • 测试集: 102个示例，50611.0387409201字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 29539字节
  • 数据集大小: 58295.7295289614字节

• 计算机安全 (computer_security):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 11个示例，5485.515349444808字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 30150字节
  • 数据集大小: 57303.3562203159字节

• 概念物理 (conceptual_physics):

  • 测试集: 235个示例，116603.86376584532字节
  • 验证集: 26个示例，12965.76355323318字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 34968字节
  • 数据集大小: 131768.802757675字节

• 计量经济学 (econometrics):

  • 测试集: 114个示例，56565.27859279305字节
  • 验证集: 12个示例，5984.198563030699字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 36040字节
  • 数据集大小: 64748.652594420244字节

• 电气工程 (electrical_engineering):

  • 测试集: 145个示例，71947.06487679818字节
  • 验证集: 16个示例，7978.931417374265字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 26746字节
  • 数据集大小: 82125.17173276893字节

• 初等数学 (elementary_mathematics):

  • 测试集: 378个示例，187558.555333998字节
  • 验证集: 41个示例，20446.011757021555字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 54987字节
  • 数据集大小: 210203.74252961605字节

• 形式逻辑 (formal_logic):

  • 测试集: 126个示例，62519.518444666字节
  • 验证集: 14个示例，6981.5649902024825字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 32884字节
  • 数据集大小: 71700.25887346498字节

• 全球事实 (global_facts):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 10个示例，4986.8321358589155字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 19258字节
  • 数据集大小: 56804.67300673001字节

• 高中生物学 (high_school_biology):

  • 测试集: 310个示例，153817.86284005127字节
  • 验证集: 32个示例，15957.86283474853字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 78216字节
  • 数据集大小: 171974.90111339628字节

• 高中化学 (high_school_chemistry):

  • 测试集: 203个示例，100725.89082751745字节
  • 验证集: 22个示例，10971.030698889615字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 45799字节
  • 数据集大小: 113896.09696500355字节

• 高中计算机科学 (high_school_computer_science):

  • 测试集: 100个示例，49618.6654322746字节
  • 验证集: 9个示例，4488.148922273024字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 39072字节
  • 数据集大小: 56305.989793144116字节

• 高中欧洲历史 (high_school_european_history):

  • 测试集: 165个示例，81870.79796325309字节
  • 验证集: 18个示例，8976.297844546049字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 196270字节
  • 数据集大小: 93046.27124639563字节

• 高中地理 (high_school_geography):

  • 测试集: 198个示例，98244.95755590372字节
  • 验证集: 22个示例，10971.030698889615字节
  • 开发集: 5个示例，2199.1754385964914字节
  • 下载大小: 38255字节
  • 数据集大小: 111415.16369338983字节

• 高中政府与政治 (high_school_government_and_politics):

  • 测试集: 193个示例，95764.02428428999字节
  • 验证集: 21个示例，10472.3474853037