answerdotai/MMLU-Amateur

该数据集是从TIGER-Lab/MMLU-Pro派生出来的，作为MMLU-Leagues编码器基准系列的一部分。数据集包含MMLU-Amateur和MMLU-SemiPro两个部分。MMLU-Amateur的训练集包含Llama-3-8B-Instruct（5-shot）回答错误的所有问题，测试集包含其回答正确的问题。MMLU-SemiPro的数据则均匀分布在训练集和测试集中，确保难度分布均匀。数据集按类别分层，确保每个类别的题目数量在两个分割中相同。

This dataset is derived from TIGER-Lab/MMLU-Pro as part of the MMLU-Leagues Encoder benchmark series. It contains MMLU-Amateur and MMLU-SemiPro. The train set of MMLU-Amateur contains all questions that Llama-3-8B-Instruct (5-shot) gets wrong, and the test set contains all questions it gets right. MMLU-SemiPros data is evenly split between a train and a test set, ensuring an even difficulty distribution. The data is stratified into categories to ensure the same number of questions from each category in both splits.

原始信息汇总

数据集概述

数据集信息

• 特征:

  • question_id: 问题ID，数据类型为int64
  • question: 问题内容，数据类型为string
  • options: 选项，数据类型为string序列
  • answer: 答案，数据类型为string
  • answer_index: 答案索引，数据类型为int64
  • cot_content: 内容，数据类型为string
  • category: 类别，数据类型为string
  • src: 来源，数据类型为string
  • llama_pred: Llama模型预测，数据类型为string
  • llama_correct: Llama模型预测是否正确，数据类型为bool

• 分割:

  • train: 训练集，包含6120个样本，大小为4423260字节
  • test: 测试集，包含3862个样本，大小为2751133字节

• 下载大小: 3448520字节

• 数据集大小: 7174393字节

配置

• 配置名称: default
  • 数据文件:
    • train: data/train-*
    • test: data/test-*

许可证

• 许可证: MIT

任务类别

• 任务类别: 问答

语言

• 语言: 英语

数据集大小类别

• 大小类别: 1K<n<10K