arxivmath-0526_outputs

ArXivMath数据集是一个用于评估大型语言模型数学能力的数据集，包含模型对ArXivMath May 2026基准测试中数学问题的回答。该数据集通过MathArena GitHub仓库生成，旨在为数学推理任务的模型性能评估提供标准化数据。数据集包含1880个样本，每个样本记录了一次模型对特定数学问题的完整回答过程。数据字段包括问题索引、问题陈述、模型名称、模型配置、尝试次数、完整对话历史、用户提示、模型回答、输入输出token数量、API成本估算、arXiv论文来源、标准答案、解析后的模型答案以及答案正确性判断。这些字段全面覆盖了从问题输入到答案评估的整个流程，可用于分析模型在数学问题上的表现、成本效益以及回答质量。数据集采用CC BY-SA 4.0许可证，主要语言为英语。

The ArXivMath dataset is a dataset designed to evaluate the mathematical capabilities of large language models, containing model responses to mathematical problems from the ArXivMath May 2026 benchmark. Generated via the MathArena GitHub repository, it aims to provide standardized data for assessing model performance in mathematical reasoning tasks. The dataset includes 1880 samples, each documenting a complete response process of a model to a specific mathematical problem. Data fields encompass problem index, problem statement, model name, model configuration, number of attempts, full conversation history, user prompt, model response, input/output token counts, API cost estimation, arXiv paper source, standard answer, parsed model answer, and correctness judgment. These fields comprehensively cover the entire workflow from problem input to answer evaluation, enabling analysis of model performance, cost-effectiveness, and response quality on mathematical problems. The dataset is licensed under CC BY-SA 4.0, with English as the primary language.

原始信息汇总

数据集概述：ArXivMath (MathArena/arxivmath-0526_outputs)

来源与目的 该数据集使用 MathArena 代码库，针对 ArXivMath 2026年5月版中的问题生成了模型回答，旨在为大型语言模型在数学领域的评估提供数据支持。

规模与划分

• 总样本数：1880 条
• 所有数据均位于 train 分割中
• 数据集大小：约 319.83 MB（下载大小约 116.15 MB）

数据字段 每条记录包含以下 17 个字段：

• 问题标识与内容：problem_idx（问题索引）、problem（问题陈述）、source（来源 arXiv 论文标识符）
• 模型信息：model_name（模型名称）、model_config（模型配置路径）、idx_answer（该模型/问题的尝试索引）
• 对话与回答：all_messages（完整对话，JSON 序列化）、user_message（用户提示）、answer（完整模型响应）
• 成本与Token：input_tokens（输入Token数）、output_tokens（输出Token数）、cost（估算API成本，美元）、input_cost_per_tokens（输入Token单价，每百万Token美元）、output_cost_per_tokens（输出Token单价，每百万Token美元）
• 评估数据：gold_answer（标准答案）、parsed_answer（解析后的模型答案）、correct（解析答案是否匹配标准答案，布尔值）

许可证与引用

• 许可证：Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
• 引用： bibtex @article{dekoninck2026matharena, title={Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs}, author={Jasper Dekoninck and Nikola Jovanović and Tim Gehrunger and Kári Rögnvaldsson and Ivo Petrov and Chenhao Sun and Martin Vechev}, year={2026}, eprint={2605.00674}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2605.00674}, }

搜集汇总

数据集介绍

构建方式

该数据集源自MathArena评估平台，针对ArXiv数学领域收录的学术论文，从中提取了共计1880道数学问题。每个问题都交由多种大语言模型进行解答，系统完整记录了模型的输入输出详情、预估的API调用成本、以及答案验证结果。构建过程采用标准化流程，确保每道题目均保留唯一标识、原始问题陈述、模型配置参数及多次尝试的交互历史。

特点

数据集的一个显著优势在于其结构的完备性与评估指标的透明度。不仅包含模型的原生输出与解析后答案，还提供了与标准答案的自动比对结果，并以布尔值直观呈现正确性。此外，输入输出词元数量、分项成本及费率等信息一应俱全，便于研究者进行经济学分析与效率权衡。

使用方法

本数据集可通过HuggingFace平台直接加载，默认配置为train拆分，支持流式读取以适应大规模场景。字段设计清晰，用户可按需选取problem、model_name、answer、correct等关键属性进行推理能力分析、模型对比或成本效益评估。适合用于数学推理基准测试、模型鲁棒性检验及语言模型经济性研究等领域。

背景与挑战

背景概述

在人工智能与数学推理的交汇领域，大型语言模型（LLM）的数学能力评估一直是研究的热点与难点。受限于传统基准测试的固有问题，如数据泄露与评估维度单一，现有方法难以全面衡量模型在数学问题上的真实推理能力。为应对这一挑战，由Jasper Dekoninck、Nikola Jovanović等学者于2026年提出的ArXivMath数据集，依托MathArena平台应运而生。该数据集源自arXiv上最新发表的数学论文，精选了1880道高难度数学问题，旨在为LLM提供更具挑战性与时效性的数学推理评测环境。其核心研究问题聚焦于模型对未预训练过的新颖数学问题的理解与求解能力，为数学语言模型的评估提供了全新视角，并推动了该领域从简单任务完成向深度推理探究的范式转变。

当前挑战

该数据集所解决的领域问题核心在于，传统数学基准测试（如GSM8K、MATH）存在题目固定、易受模型记忆影响等缺陷，难以真实反映模型在未见过数学问题上的推理能力。ArXivMath通过选取最新论文中的问题，规避了数据泄露风险，提升了评测的公正性与时效性。在构建过程中，挑战同样显著：如何从海量arXiv论文中自动提取并标准化数学问题，确保语义完整且答案可解析；设计能够准确匹配模型输出与标准答案的解析器，以应对复杂数学表达式的多样表征；以及跨学科问题涵盖代数、几何、数论等分支，要求评估框架具备高度的泛化能力。此外，高昂的API调用成本与模型推理的多样性也给大规模评测带来了经济与计算上的双重制约。

常用场景

经典使用场景

ArXivMath数据集源自2026年5月的arXiv数学论文，精心筛选了涵盖代数、几何、数论等纯数学领域的1880道高难度竞赛级问题。其经典使用场景在于评估大规模语言模型（LLMs）在数学推理任务上的真实能力，通过记录模型的多轮输出、解析结果与标准答案的匹配情况，为研究者提供细粒度的模型性能度量。该数据集弥补了传统数学基准题量少、难度单一的不足，成为检验LLMs数学逻辑严谨性与泛化能力的标杆。

实际应用

在实际应用中，ArXivMath数据集被广泛用于数学教育智能辅导系统的开发与优化，例如自动批改数学解答、生成定制化习题以及辅助学生进行高阶数学思维训练。科研机构借助其丰富的输出字段（如token消耗与成本）来设计更高效的推理模型，工业界则利用这些数据提升AI在科技文献审校、数学软件兼容性测试等场景中的表现，从而加速从学术研究到工程落地的转化进程。

衍生相关工作

基于ArXivMath数据集，衍生出了一系列重要工作，包括针对数学领域的模型微调方法（如Chain-of-Thought蒸馏与强化学习优化）、数学推理可解释性分析框架，以及跨模态数学问题生成技术。其中，MathArena平台本身作为一个开放评估环境，已催生出多项关于LLMs数学能力排行榜的持续研究，推动了数学推理评估标准从单一准确率向经济性、稳定性等多维度拓展，成为后续研究不可或缺的参照基准。