five

justinphan3110/mmlu-test

收藏
Hugging Face2024-03-21 更新2024-06-11 收录
下载链接:
https://hf-mirror.com/datasets/justinphan3110/mmlu-test
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集名为Measuring Massive Multitask Language Understanding(MMLU),是一个用于评估大规模多任务语言理解能力的数据集。数据集包含多个主题领域(如抽象代数、解剖学、天文学等),每个主题领域下都有多个选择题。数据集的特征包括问题、主题、选项和答案,并分为测试集、验证集和开发集。数据集为单语(英语),适用于问答任务中的多项选择题。

该数据集名为Measuring Massive Multitask Language Understanding(MMLU),是一个用于评估大规模多任务语言理解能力的数据集。数据集包含多个主题领域(如抽象代数、解剖学、天文学等),每个主题领域下都有多个选择题。数据集的特征包括问题、主题、选项和答案,并分为测试集、验证集和开发集。数据集为单语(英语),适用于问答任务中的多项选择题。
提供机构:
justinphan3110
原始信息汇总

数据集概述

基本信息

  • 语言: 英语 (en)
  • 许可证: MIT
  • 多语言性: 单语种
  • 大小: 10K<n<100K
  • 数据来源: 原始数据
  • 任务类别: 问答
  • 任务ID: 多选题问答 (multiple-choice-qa)
  • Papers with Code ID: mmlu
  • 名称: Measuring Massive Multitask Language Understanding

数据集结构

特征

  • 问题 (question): 字符串类型
  • 主题 (subject): 字符串类型
  • 选项 (choices): 字符串序列类型
  • 答案 (answer): 分类标签类型,选项为A, B, C, D

分割

  • 测试集 (test): 示例数量和字节数因子集而异
  • 验证集 (validation): 示例数量和字节数因子集而异
  • 开发集 (dev): 示例数量和字节数因子集而异

子集详情

  • 抽象代数 (abstract_algebra):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 17143字节
    • 数据集大小: 57303.3562203159字节
  • 全部 (all):

    • 测试集: 14042个示例,6967453字节
    • 验证集: 1531个示例,763484字节
    • 开发集: 285个示例,125353字节
    • 辅助训练集: 99842个示例,161000625字节
    • 下载大小: 51503402字节
    • 数据集大小: 168856915字节
  • 解剖学 (anatomy):

    • 测试集: 135个示例,66985.19833357072字节
    • 验证集: 14个示例,6981.5649902024825字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 28864字节
    • 数据集大小: 76165.9387623697字节
  • 天文学 (astronomy):

    • 测试集: 152个示例,75420.3714570574字节
    • 验证集: 16个示例,7978.931417374265字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 39316字节
    • 数据集大小: 85598.47831302814字节
  • 商业伦理 (business_ethics):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 31619字节
    • 数据集大小: 57303.3562203159字节
  • 临床知识 (clinical_knowledge):

    • 测试集: 265个示例,131489.4633955277字节
    • 验证集: 29个示例,14461.813193990856字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 51655字节
    • 数据集大小: 148150.45202811505字节
  • 大学生物学 (college_biology):

    • 测试集: 144个示例,71450.87822247542字节
    • 验证集: 16个示例,7978.931417374265字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 43017字节
    • 数据集大小: 81628.98507844617字节
  • 大学化学 (college_chemistry):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 8个示例,3989.4657086871325字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 26781字节
    • 数据集大小: 55807.30657955822字节
  • 大学计算机科学 (college_computer_science):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 41132字节
    • 数据集大小: 57303.3562203159字节
  • 大学数学 (college_mathematics):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 26779字节
    • 数据集大小: 57303.3562203159字节
  • 大学医学 (college_medicine):

    • 测试集: 173个示例,85840.29119783506字节
    • 验证集: 22个示例,10971.030698889615字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 56303字节
    • 数据集大小: 99010.49733532117字节
  • 大学物理 (college_physics):

    • 测试集: 102个示例,50611.0387409201字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 29539字节
    • 数据集大小: 58295.7295289614字节
  • 计算机安全 (computer_security):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 11个示例,5485.515349444808字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 30150字节
    • 数据集大小: 57303.3562203159字节
  • 概念物理 (conceptual_physics):

    • 测试集: 235个示例,116603.86376584532字节
    • 验证集: 26个示例,12965.76355323318字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 34968字节
    • 数据集大小: 131768.802757675字节
  • 计量经济学 (econometrics):

    • 测试集: 114个示例,56565.27859279305字节
    • 验证集: 12个示例,5984.198563030699字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 36040字节
    • 数据集大小: 64748.652594420244字节
  • 电气工程 (electrical_engineering):

    • 测试集: 145个示例,71947.06487679818字节
    • 验证集: 16个示例,7978.931417374265字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 26746字节
    • 数据集大小: 82125.17173276893字节
  • 初等数学 (elementary_mathematics):

    • 测试集: 378个示例,187558.555333998字节
    • 验证集: 41个示例,20446.011757021555字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 54987字节
    • 数据集大小: 210203.74252961605字节
  • 形式逻辑 (formal_logic):

    • 测试集: 126个示例,62519.518444666字节
    • 验证集: 14个示例,6981.5649902024825字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 32884字节
    • 数据集大小: 71700.25887346498字节
  • 全球事实 (global_facts):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 10个示例,4986.8321358589155字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 19258字节
    • 数据集大小: 56804.67300673001字节
  • 高中生物学 (high_school_biology):

    • 测试集: 310个示例,153817.86284005127字节
    • 验证集: 32个示例,15957.86283474853字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 78216字节
    • 数据集大小: 171974.90111339628字节
  • 高中化学 (high_school_chemistry):

    • 测试集: 203个示例,100725.89082751745字节
    • 验证集: 22个示例,10971.030698889615字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 45799字节
    • 数据集大小: 113896.09696500355字节
  • 高中计算机科学 (high_school_computer_science):

    • 测试集: 100个示例,49618.6654322746字节
    • 验证集: 9个示例,4488.148922273024字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 39072字节
    • 数据集大小: 56305.989793144116字节
  • 高中欧洲历史 (high_school_european_history):

    • 测试集: 165个示例,81870.79796325309字节
    • 验证集: 18个示例,8976.297844546049字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 196270字节
    • 数据集大小: 93046.27124639563字节
  • 高中地理 (high_school_geography):

    • 测试集: 198个示例,98244.95755590372字节
    • 验证集: 22个示例,10971.030698889615字节
    • 开发集: 5个示例,2199.1754385964914字节
    • 下载大小: 38255字节
    • 数据集大小: 111415.16369338983字节
  • 高中政府与政治 (high_school_government_and_politics):

    • 测试集: 193个示例,95764.02428428999字节
    • 验证集: 21个示例,10472.3474853037
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作