MathArena/arxivmath-0526_outputs

该数据集包含使用MathArena GitHub仓库生成的、针对ArXivMath 2026年5月问题的模型答案。

This dataset contains model answers to the questions from ArXivMath May 2026 generated using the MathArena GitHub repository.

搜集汇总

数据集介绍

构建方式

本数据集源自MathArena评估平台，旨在系统性地收录前沿大语言模型在数学推理任务中的表现。数据来源于ArXivMath 2026年5月发布的数学问题集，通过MathArena开源仓库中的标准化流程生成。每条记录均包含问题原文、模型生成的完整对话历史、模型配置参数以及自动评分所需的参考答案与解析结果。构建过程确保了从问题输入到答案输出的全链路可追溯性，并记录了每次推理的输入输出令牌数及预估API成本，为复现与开源研究提供了坚实的基础。

特点

该数据集的核心特色在于其高度结构化的字段设计，全面覆盖了模型推理的各个环节。特别地，数据不仅存储了模型的原始回答与解析答案，还提供了数学问题所属的arXiv论文来源标识以及多轮对话的JSON序列化信息。通过布尔型字段'correct'实现了对模型答案正确性的自动判定，使得研究者能够直接基于此开展模型性能评估、错误模式分析及成本效益研究，极大降低了数学推理领域大规模实验的门槛。

使用方法

使用者可通过HuggingFace Datasets库直接加载默认配置下的训练集，其包含960条高质量样本。每条数据均包含独立的问题索引与回答尝试编号，便于按模型或问题维度进行分组分析。推荐的典型应用场景包括：评估不同架构模型在高等数学问题上的推理能力、比较不同提示策略或参数配置下的性能差异，以及结合令牌成本数据开展模型推理效率的经济性分析。数据以Parquet格式存储，兼容主流深度学习框架，支持快速过滤与批量处理。

背景与挑战

背景概述

在人工智能与数学推理的交汇领域，评估大型语言模型（LLM）的数学能力始终是极具挑战性的课题。传统的基准测试往往受限于题目形式单一、评估维度狭窄等问题，难以全面反映模型在真实数学问题上的表现。2026年，由Jasper Dekoninck、Nikola Jovanović等来自ETH Zurich的研究团队，依托MathArena评估平台，创建了arxivmath-0526_outputs数据集。该数据集聚焦于从ArXiv数学文献中提取的复杂数学问题，记录了多种LLM对这些问题的回答及其详细推理过程，旨在为数学推理能力提供一个开放、可复现的高质量评估基准。其研究核心在于超越静态标杆测试，通过动态评估框架揭示模型在符号操作、逻辑推导和抽象思维方面的深层能力，对推动LLM在科学计算与数学教育中的应用具有重要影响力。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，数学推理要求模型具备严格的逻辑连贯性与符号操作准确性，而现有LLM在长链条推导、多步验证及对抽象数学概念的理解上仍存在显著局限，这构成了评估的核心困难。在构建过程中，挑战尤为突出：从ArXiv海量论文中自动提取结构清晰、答案唯一且难度适中的数学问题，涉及复杂的自然语言理解与格式转换；对模型输出的自动评分需要设计可靠的解析器以匹配多样化的答案表达，稍有偏差便可能导致误判；同时，估算API成本与记录计算资源消耗也为大规模评测带来了资源管理与可重复性方面的难题。

常用场景

经典使用场景

在数学推理与大语言模型交叉研究的浪潮中，ArXivMath-0526 Outputs数据集扮演着评估模型数学解题能力的试金石角色。其经典用法聚焦于将高难度数学问题作为探针，系统性地测度不同语言模型在符号运算、逻辑推导与多步推理上的表现。研究者通过向模型提交ArXiv级数学题目，比对模型输出与标准答案，从而量化模型在抽象数学领域的真实水平。这一场景尤为适合评估那些声称具备高级推理能力的对话式或指令微调模型，为模型能力从自然语言理解延伸到形式化数学推理提供了可靠的评测基线。

实际应用

在工业与教育场景中，ArXivMath-0526 Outputs数据集可作为智能数学辅导系统的质量验证工具。例如，教育科技公司可借此测试其嵌入式数学代理能否准确解答研究生级别的题目，从而衡量系统对高阶数学思维的辅助能力。同时，该数据集被用于自动化学术论文校对中的公式逻辑校验，帮助编辑和审稿人快速识别推导错误。此外，API成本与令牌效率的详细记录使其成为云计算环境下优化大模型服务资源配置的参考依据，企业可据此平衡推理准确性与运营开支，推动数学AI从实验室走进实际应用生态。

衍生相关工作

基于此数据集，学术界涌现出多项里程碑式工作。MathArena平台本身便是其直接产物，提供了一套标准化竞赛框架，鼓励研究者提交模型答案进行横向对比。随后，有团队利用该数据集训练了专门擅长数学推理的蒸馏模型，通过知识迁移将大模型的解题能力压缩至轻量级网络。此外，研究者还从这些数据中提炼出错误模式分析图景，催生了关于数学推理过程中逻辑断裂点的自适应修剪算法。该数据集也是多步推理链长度与正确性相关性研究的核心数据源，间接催化了思维链提示和树搜索策略的创新。