MMLU-STEM

This contains a subset of STEM subjects defined in MMLU by the original paper.

The included subjects are

- 'abstract_algebra',
- 'anatomy',
- 'astronomy',
- 'college_biology',
- 'college_chemistry',
- 'college_computer_science',
- 'college_mathematics',
- 'college_physics',
- 'computer_security',
- 'conceptual_physics',
- 'electrical_engineering',
- 'elementary_mathematics',
- 'high_school_biology',
- 'high_school_chemistry',
- 'high_school_computer_science',
- 'high_school_mathematics',
- 'high_school_physics',
- 'high_school_statistics',
- 'machine_learning'

Please cite the original MMLU paper when you are using it.

本数据集涵盖原始论文于大规模多任务语言理解（MMLU）中定义的部分科学、技术、工程与数学（STEM）学科。本次收录的学科如下：
- 抽象代数（abstract_algebra）
- 解剖学（anatomy）
- 天文学（astronomy）
- 大学生物学（college_biology）
- 大学化学（college_chemistry）
- 大学计算机科学（college_computer_science）
- 大学数学（college_mathematics）
- 大学物理学（college_physics）
- 计算机安全学（computer_security）
- 概念物理学（conceptual_physics）
- 电气工程学（electrical_engineering）
- 初等数学（elementary_mathematics）
- 高中生物学（high_school_biology）
- 高中化学（high_school_chemistry）
- 高中计算机科学（high_school_computer_science）
- 高中数学（high_school_mathematics）
- 高中物理学（high_school_physics）
- 高中统计学（high_school_statistics）
- 机器学习（machine_learning）

若使用本数据集，请务必引用原始的MMLU论文。

搜集汇总

背景与挑战

背景概述

MMLU-STEM是MMLU数据集的一个子集，专注于STEM学科，包含19个具体科目，如抽象代数、天文学和机器学习等，用于评估模型在科学、技术、工程和数学领域的知识能力。该数据集由TIGER-Lab维护，采用Apache License 2.0许可证，更新于2024年7月，适用于学术和研究用途，使用时需引用原始MMLU论文。