sjyuxyz/MMLU-Pro-with-subset

该数据集是TIGER-Lab/MMLU-Pro HF数据集的副本，但将类别分成了子集，以便更好地与现有的lm evals库（如lm-evaluation-harness）兼容。数据集包含多个类别的问答数据，每个类别都有其特定的特征和分割信息。

原始信息汇总

数据集概述

数据集配置

配置名称：all

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
• 分割：
  • dev: 70个样本，61129字节
  • test: 10823个样本，7839751.410322473字节
  • validation: 1209个样本，875751.5896775266字节
• 下载大小：8761917字节
• 数据集大小：8776632.0字节

配置名称：biology

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，5006字节
  • test: 645个样本，572397.4686192469字节
  • validation: 72个样本，63895.531380753135字节
• 下载大小：651567字节
• 数据集大小：641299.0字节

配置名称：business

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，4110字节
  • test: 710个样本，362429.3536121673字节
  • validation: 79个样本，40326.6463878327字节
• 下载大小：441084字节
• 数据集大小：406866.0字节

配置名称：chemistry

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，4037字节
  • test: 1018个样本，561043.9010600707字节
  • validation: 114个样本，62828.09893992933字节
• 下载大小：642484字节
• 数据集大小：627909.0字节

配置名称：computer science

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • validation: 5个样本，4611字节
  • test: 410个样本，269535字节
• 下载大小：142719字节
• 数据集大小：274146字节

配置名称：computer_science

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，4611字节
  • test: 369个样本，242581.5字节
  • validation: 41个样本，26953.5字节
• 下载大小：293283字节
• 数据集大小：274146.0字节

配置名称：economics

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，3959字节
  • test: 759个样本，566318.317535545字节
  • validation: 85个样本，63421.68246445498字节
• 下载大小：600637字节
• 数据集大小：633699.0字节

配置名称：engineering

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，2976字节
  • test: 872个样本，600445.3415892672字节
  • validation: 97个样本，66792.6584107327字节
• 下载大小：655734字节
• 数据集大小：670214.0字节

配置名称：health

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，3834字节
  • test: 736个样本，494314.87530562346字节
  • validation: 82个样本，55073.12469437653字节
• 下载大小：514032字节
• 数据集大小：553222.0字节

配置名称：history

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，8577字节
  • test: 342个样本，472329.82677165355字节
  • validation: 39个样本，53862.17322834646字节
• 下载大小：617779字节
• 数据集大小：534769.0字节

配置名称：law

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，5345字节
  • test: 990个样本，1613744.9591280655字节
  • validation: 111个样本，180935.04087193462字节
• 下载大小：1664713字节
• 数据集大小：1800025.0字节

配置名称：math

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，4446字节
  • test: 1215个样本，499956.7616580311字节
  • validation: 136个样本，55962.238341968914字节
• 下载大小：579407字节
• 数据集大小：560365.0字节

配置名称：other

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，3170字节
  • test: 831个样本，475342.7922077922字节
  • validation: 93个样本，53197.207792207795字节
• 下载大小：597949字节
• 数据集大小：531710.0字节

配置名称：philosophy

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，3269字节
  • test: 449个样本，250964.00601202404字节
  • validation: 50个样本，27946.99398797595字节
• 下载大小：299959字节
• 数据集大小：282180.0字节

配置名称：physics

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，3835字节
  • test: 1169个样本，631272.5989222479字节
  • validation: 130个样本，70201.40107775212字节
• 下载大小：728586字节
• 数据集大小：705309.0字节

配置名称：psychology

• 特征：
  • question_id: int64
  • question: string
  • options: sequence of string
  • answer: string
  • answer_index: int64
  • cot_content: string
  • category: string
  • src: string
  • index_level_0: int64
• 分割：
  • dev: 5个样本，4514字节
  • test: 718个样本，582336.6892230576字节
  • validation: 80个样本，64884.31077694236字节
• 下载大小：683592字节
• 数据集大小：651735.0字节