sam-paech/mmlu-pro-irt-1-0

MMLU-Pro-IRT数据集是从MMLU-Pro数据集中通过项目反应理论（IRT）筛选出的一个子集，旨在更好地分离不同能力范围的分数。该数据集包含2059个条目，比完整的MMLU-Pro数据集（12000个条目）小，因此运行速度更快。数据集主要用于评估语言模型的能力，特别是在不使用链式思维（CoT）的情况下，通过IRT选择的问题能够更好地区分不同能力水平的模型。

The MMLU-Pro-IRT dataset is a subset of the MMLU-Pro dataset, selected using Item Response Theory (IRT) to better separate scores across the ability range. It contains 2059 items, which is smaller than the full MMLU-Pro dataset (12000 items), making it faster to run. The dataset is primarily used to evaluate the capabilities of language models, especially in scenarios where Chain-of-Thought (CoT) is not used, as the IRT-selected questions are better at discriminating between models of different ability levels.

原始信息汇总

MMLU-Pro-IRT 数据集概述

数据集信息

特征

• question_id: 问题ID，数据类型为 int64
• question: 问题内容，数据类型为 string
• options: 选项，数据类型为 string 的序列
• answer: 答案，数据类型为 string
• answer_index: 答案索引，数据类型为 int64
• cot_content: 内容，数据类型为 string
• category: 类别，数据类型为 string
• src: 来源，数据类型为 string

数据分割

• test: 测试集，包含 2059 个样本，大小为 1203099 字节
• validation: 验证集，包含 70 个样本，大小为 61129 字节

数据集大小

• 下载大小: 658566 字节
• 数据集总大小: 1264228 字节

配置

• config_name: default
  • data_files:
    • test: 路径为 data/test-*
    • validation: 路径为 data/validation-*

许可证

• license: MIT

标签

• MMLU-Pro
• IRT

数据集描述

• 来源: 该数据集是从 MMLU-Pro 中通过 Item Response Theory 选择的一个子集，包含 2059 个样本。
• 目的: 该子集旨在更好地分离能力范围内的分数，使得模型在评估时得分更为分散，避免集中在分数范围的底部。
• 评估: 该数据集适用于使用 Eleuther LM-Eval 进行评估，评估时间为约 6 分钟。

参考文献

• MMLU-Pro:

  @misc{wang2024mmlupro, title={MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark}, author={Yubo Wang and Xueguang Ma and Ge Zhang and Yuansheng Ni and Abhranil Chandra and Shiguang Guo and Weiming Ren and Aaran Arulraj and Xuan He and Ziyan Jiang and Tianle Li and Max Ku and Kai Wang and Alex Zhuang and Rongqi Fan and Xiang Yue and Wenhu Chen}, year={2024}, eprint={2406.01574}, archivePrefix={arXiv}, primaryClass={cs.CL} }

• MMLU:

  @article{hendryckstest2021, title={Measuring Massive Multitask Language Understanding}, author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt}, journal={Proceedings of the International Conference on Learning Representations (ICLR)}, year={2021} }

  @article{hendrycks2021ethics, title={Aligning AI With Shared Human Values}, author={Dan Hendrycks and Collin Burns and Steven Basart and Andrew Critch and Jerry Li and Dawn Song and Jacob Steinhardt}, journal={Proceedings of the International Conference on Learning Representations (ICLR)}, year={2021} }

搜集汇总

数据集介绍

构建方式

该数据集源自MMLU-Pro基准测试，通过项目反应理论（IRT）进行题目筛选而构建。IRT方法优先选取那些能够有效区分不同能力水平被试的题目，尤其侧重于在不依赖思维链推理的条件下依然具备高区分度的题目。最终从原始约12000道题目中精选出2059道，形成规模精简但鉴别力强的子集。

特点

数据集包含2059个测试样本和70个验证样本，覆盖多学科类别，每个样本由问题、选项、答案及来源等字段构成。其核心优势在于通过IRT筛选，使得模型得分分布更分散，避免了原始MMLU-Pro中低分段分数聚集的问题，从而更精准地反映模型真实能力差异。评估耗时显著缩短，例如在RTX-4090上仅需约6分钟即可完成gemma-2-9b模型的评测。

使用方法

数据集支持多种评估方式。可通过Eleuther LM-Eval进行5-shot对数概率评估，命令为`lm_eval --model hf --tasks mmlu-pro-irt`。亦可通过TIGER-AI-Lab/MMLU-Pro的fork版本结合VLLM或llama.cpp进行5-shot生成式评估，分别使用`evaluate_from_local.py`或`evaluate_from_llama.cpp.py`脚本。用户需克隆对应仓库并安装依赖，通过调整模型参数和GPU配置即可运行。

背景与挑战

背景概述

大规模多任务语言理解（MMLU）基准测试及其增强版本MMLU-Pro，在评估大型语言模型（LLMs）的广泛知识与推理能力方面扮演着核心角色。然而，MMLU-Pro包含约12,000道题目，其评估过程耗时较长，尤其在生成式思维链（CoT）评估范式下，对计算资源的需求更为显著。为应对这一挑战，研究者Sam Paech于近期基于项目反应理论（IRT）创建了MMLU-Pro-IRT数据集。该数据集从MMLU-Pro中精选出2,059道高区分度题目，旨在以更小的规模实现对模型能力的高效、准确评估。此项工作由独立研究者主导，核心目标在于解决全量基准测试在快速迭代场景下的效率瓶颈，并提升低分区间模型间的可区分性。MMLU-Pro-IRT的提出，为语言模型评估领域提供了一种兼顾速度与精度的新工具，有助于推动更频繁、更细粒度的模型能力追踪。

当前挑战

MMLU-Pro-IRT数据集所解决的核心挑战，源于大规模语言模型评估中效率与效度之间的固有张力。原版MMLU-Pro虽覆盖面广，但冗长的评估周期（尤其在CoT模式下）严重制约了模型开发与迭代的速度。此外，传统随机子采样方法可能导致子集在衡量不同能力水平时区分度不足，尤其对于高性能模型，其得分容易在高端区间聚集，难以反映真实能力差异。在构建过程中，如何从海量题目中筛选出对能力变化最敏感的条目成为关键难题。项目反应理论的应用，虽能有效识别高区分度题目，但需确保所选子集在降低数学偏重的同时，仍能保持对非CoT评估方式（如logprobs）的适用性，这对题目选择的统计建模提出了严苛要求。最终，MMLU-Pro-IRT在保持与原版高度相关性的前提下，成功实现了评估时间的大幅缩减与分数分布的优化扩展。

常用场景

经典使用场景

在自然语言处理与大规模语言模型评估领域，MMLU-Pro-IRT数据集被广泛用作一项精炼且高效的基准测试工具。其经典应用场景在于通过项目反应理论（IRT）筛选出最具区分能力的题目，从而在保持对模型能力全面评估的同时，大幅缩短评测时间。研究者通常利用该数据集进行5-shot上下文学习或链式思维推理评估，以衡量模型在多学科知识问答上的泛化表现。相较于原始MMLU-Pro的12000道题目，该子集仅含2059道精选题目，却能在更短运行时间内提供更具鉴别力的得分分布，尤其适用于快速迭代的模型对比实验。

解决学术问题

该数据集的核心学术价值在于解决了大规模语言模型评估中的效率与效度失衡问题。原始MMLU-Pro虽然覆盖广泛，但运行耗时且得分集中在低分段，难以有效区分中等能力模型间的细微差异。MMLU-Pro-IRT通过IRT方法选择那些在无需链式推理的情况下仍能显著区分不同能力水平的题目，从而使得评估结果更充分地利用分数区间，避免了传统随机子采样带来的信息损失。这一设计为研究者提供了一种更科学的快速评测范式，推动了语言理解基准的实用化与精确化发展。

衍生相关工作

MMLU-Pro-IRT的提出催生了多项衍生工作，尤其在评测效率优化领域产生了深远影响。其基于IRT的题目筛选策略被后续研究借鉴，用于构建其他大规模基准的精简版本，如针对常识推理或数学推理的子集。同时，该数据集促进了多框架适配工作的涌现，包括Eleuther LM-Eval的自定义任务集成、VLLM推理管道的优化以及llama.cpp的本地化部署方案。这些衍生工作不仅扩展了数据集的适用边界，还推动了评测标准化的进程，使得社区能够以更低成本复现和比较不同模型的语言理解能力。