Omni-MATH-2
收藏资源简介：
Omni-MATH-2 是一个经过人工修订的数学数据集，旨在改进原始 Omni-MATH 数据集的质量。该数据集保留了原始数据集的规模（n = 4,428），同时显著提高了 LaTeX 可编译性、可解性和可验证性。其中，647 个问题（14.6%）被编辑，247 个问题（5.6%）被标记为非标准问题（包含图像、要求估计或证明，或是退化问题等）。数据集发布了多个评估就绪的子集，特别是 Omni-MATH-2-Filtered（n = 4,181），其中排除了标记为非标准的问题，以确保适合判断精确答案。该数据集适用于大型语言模型（LLM）的数学能力评估和基准测试。
Omni-MATH-2 数据集概述
基本信息
- 数据集名称：Omni-MATH-2
- 许可证：MIT
- 主要语言：英语
- 标签：数学、奥林匹克竞赛
- 数据规模：1K < n < 10K（具体为 4,428 个问题）
数据集描述
Omni-MATH-2 是原始 Omni-MATH 数据集的手动修订版本。该修订旨在提升数据集在评估大型语言模型时的有效性，同时保持了原始数据集的规模（n = 4,428）。修订工作显著改善了问题的 LaTeX 可编译性、可解性和可验证性。
修订详情
- 编辑问题数量：647 个（占总数的 14.6%）
- 标记为非标准问题数量：247 个（占总数的 5.6%）
- 非标准问题定义：包含图像、要求估算或证明、或是退化问题（例如重复、无参考答案、空问题等）。
数据子集
提供了一个评估就绪的子集：
- Omni-MATH-2-Filtered：包含 4,181 个问题。该子集已排除标记为非标准的问题，以确保其适用于判断精确答案。
使用方式
可通过 datasets 库加载数据集：
python
from datasets import load_dataset
dataset = load_dataset("martheballon/Omni-MATH-2")
相关资源
- 论文：https://arxiv.org/abs/2601.19532
- GitHub 仓库：https://github.com/MartheBallon/Benchmarks-saturate-when-the-model-gets-smarter-than-the-judge
- 清理过程示意图：https://huggingface.co/datasets/martheballon/Omni-MATH-2/resolve/main/Cleaning.png
引用信息
如果使用本数据集，请引用相关论文：
@misc{ballon2026benchmarkssaturatewhen, title={Benchmarks Saturate When The Model Becomes Smarter Than The Judge}, author={Ballon, Marthe and Algaba, Andres and Verbeken, Brecht and Ginis, Vincent}, year={2026}, eprint={2601.19532}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2601.19532}, }
致谢
感谢原始 Omni-MATH 数据集的作者和贡献者。他们发布的基准和验证器 Omni-Judge 为本论文的分析提供了支持。
@misc{gao2024omnimathuniversalolympiadlevel, title={Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models}, author={Bofei Gao and Feifan Song and Zhe Yang and Zefan Cai and Yibo Miao and Qingxiu Dong and Lei Li and Chenghao Ma and Liang Chen and Runxin Xu and Zhengyang Tang and Benyou Wang and Daoguang Zan and Shanghaoran Quan and Ge Zhang and Lei Sha and Yichang Zhang and Xuancheng Ren and Tianyu Liu and Baobao Chang}, year={2024}, eprint={2410.07985}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2410.07985}, }
