NiniCat/MMLU-SR

MMLU-SR数据集是为测试大型语言模型的推理能力而设计的，包含question_only, answer_only, 和 question_and_answer三个部分，每个部分都有开发集和测试集，共覆盖57个主题。

原始信息汇总

MMLU-SR 数据集概述

基本信息

• 许可证: MIT
• 任务类别: 问答
• 语言: 英语
• 数据集名称: MMLU-SR

数据集描述

MMLU-SR 数据集是为论文 "Reasoning or Simply Next Token Prediction? A Benchmark for Stress-Testing Large Language Models" 创建的。该数据集包含三个不同组的数据集：question_only, answer_only, 和 question_and_answer。每组包含开发（dev）和测试数据集，涵盖 57 个主题。

配置详情

数据集分为多个配置，每个配置包含训练和测试数据文件。以下是部分配置示例：

配置示例

• answer_only_abstract_algebra

  • 训练数据文件: NiniCat/MMLU-SR/answer_only/answer_only_dev/answer_only_abstract_algebra_dev.csv
  • 测试数据文件: NiniCat/MMLU-SR/answer_only/answer_only_test/answer_only_abstract_algebra_test.csv

• answer_only_anatomy

  • 训练数据文件: NiniCat/MMLU-SR/answer_only/answer_only_dev/answer_only_anatomy_dev.csv
  • 测试数据文件: NiniCat/MMLU-SR/answer_only/answer_only_test/answer_only_anatomy_test.csv

• question_and_answer_abstract_algebra

  • 训练数据文件: NiniCat/MMLU-SR/question_and_answer/question_and_answer_dev/question_and_answer_abstract_algebra_dev.csv
  • 测试数据文件: NiniCat/MMLU-SR/question_and_answer/question_and_answer_test/question_and_answer_abstract_algebra_test.csv

数据集结构

• question_only: 仅包含问题
• answer_only: 仅包含答案
• question_and_answer: 包含问题和答案

每个组的数据集都包含多个主题，例如抽象代数、解剖学等，每个主题都有对应的训练和测试数据文件。