MathArena/arxivmath-training_outputs

该数据集包含从过去的ArXiv文章中生成的训练数据，以及由Qwen3.6-35B模型生成的输出。由于一个错误，并非所有来自MathArena/arxivmath-training数据集的行都获得了输出。数据集包含多个字段，如问题索引、问题陈述、模型名称、模型配置、尝试索引、完整对话记录、用户提示、模型回答、输入和输出令牌数、成本估计、来源标识、黄金答案、解析答案和正确性判断等。这些数据用于评估大型语言模型在数学问题上的表现，并支持自动评分和成本分析。This dataset contains training data generated from past arXiv articles, as well as outputs produced by the Qwen3.6-35B model. Due to an existing error, not all rows from the MathArena/arxivmath-training dataset have obtained corresponding outputs. The dataset includes multiple fields, such as question index, problem statement, model name, model configuration, attempt index, full conversation history, user prompt, model response, number of input and output tokens, cost estimate, source identifier, gold answer, parsed answer, and correctness judgment. This data is utilized to evaluate the performance of large language models on mathematical problems, and supports automatic scoring and cost analysis.

搜集汇总

数据集介绍

构建方式

ArXivMath-Training-Outputs数据集源自数学推理评测平台MathArena，其构建依托于海量ArXiv预印本论文中的数学问题。通过从ArXiv数学论文中系统提取问题及对应的标准解答，构建了初始的问题集合。随后，研究人员采用Qwen3.6-35B大语言模型对每道题目生成模型回答，并记录其完整对话历史、推理过程与答案。此外，该数据集还保存了每次推理的输入输出令牌数、预估API成本、问题来源的ArXiv标识符等元信息，并利用MathArena内置解析器从模型回答中提取出最终答案，与原始标准答案进行比对，标记回答是否正确，从而构建了一个涵盖问题、模型输出及评估信息的综合性数学训练数据集。

特点

该数据集最显著的特点在于其真实性与高信息密度。所有问题均源自真实发表的ArXiv数学论文，而非人工虚构，保证了数据源的权威性与多样性。与常规问答数据不同，本数据集完整收录了模型在一次尝试中的全部对话信息（all_messages）和用户提示（user_message），使得研究者可以深入分析模型的推理链条。同时，数据集详细记录了每次推理的经济成本（包括输入输出令牌单价与总花费），为评估模型的计算效率提供了宝贵依据。此外，每道题目均关联了原始论文编号（source）与自动评分结果（correct），便于用户追溯知识来源并验证模型回答的准确性，这些特性使其成为研究数学推理、模型成本效益分析及自动化评估的理想素材。

使用方法

研究人员可通过HuggingFace Datasets库直接加载该数据集，利用其包含的'problem'字段作为训练或评估的输入问题，并可结合'gold_answer'与'correct'字段对模型输出的准确性进行自动化评测。由于数据集中提供了完整的对话消息（all_messages）和基础模型回答（answer），用户能够灵活地提取模型在数学推理任务中的原始生成文本，用于微调、提示工程或思维链分析。此外，'input_tokens'与'output_tokens'字段支持对模型的计算成本进行量化研究，而'idx_answer'字段则为多次尝试下的实验对比与统计分析提供了便利。该数据集以CC-BY-4.0许可发布，适用于学术研究与开源模型开发。

背景与挑战

背景概述

数学推理一直是评估大型语言模型（LLM）智能水平的关键领域，但现有基准测试往往存在静态性、饱和性等问题。为此，来自瑞士苏黎世联邦理工学院（ETH Zurich）的研究团队于2026年提出了MathArena平台，旨在构建一个动态、可持续的数学评估体系。作为该平台的核心组成部分，ArXivMath-Training-Outputs数据集从过去的ArXiv论文中提取数学问题，并使用Qwen3.6-35B模型生成训练输出，总计包含10,420个样本。该数据集不仅为数学推理模型提供了丰富的训练资源，还通过开源协议（CC-BY-4.0）促进了研究社区在自动化数学评估与模型训练方面的探索，对推动LLM在数学领域的发展具有重要意义。

当前挑战

该数据集所解决的领域问题在于，传统的数学基准如GSM8K或MATH已逐渐被高性能模型所饱和，难以区分模型的真实推理能力，亟需一种能够持续引入新问题、动态更迭的评估方案。构建过程中面临的挑战包括：从海量ArXiv论文中自动提取结构化的数学问题并确保其答案的准确性；由于一个已知的bug，原始训练数据集的部分问题未能成功生成对应输出，导致数据不完整；此外，不同模型输出格式的差异增加了自动评分与答案解析的难度，而API调用成本的计算也需精细化管理以避免资源浪费。

常用场景

经典使用场景

在数学推理与大型语言模型（LLM）性能评估的研究领域中，ArXivMath-Training-Outputs数据集扮演着不可或缺的角色。它被广泛用于训练和微调那些旨在攻克高难度数学问题的语言模型，尤其是那些需要从海量学术文献中汲取数学知识与解题逻辑的场景。研究人员通常利用该数据集中的问题陈述、模型生成的答案以及人工标注的黄金答案，构建监督学习或强化学习框架，从而提升模型在符号运算、定理证明及复杂数学推导方面的能力。此外，该数据集还常被用作验证模型输出正确性与一致性的基准，通过比较模型解析后的答案与标准答案是否匹配，来系统性地评估和改进数学推理算法的鲁棒性。

解决学术问题

该数据集的核心价值在于为学术界提供了一套系统化研究与解决数学推理自动化难题的标准化资源。它直接回应了如何利用真实文献中的数学问题来量化和提升大型语言模型推理能力的迫切需求。通过提供包含完整对话记录、成本分析以及多项性能指标的细粒度数据，研究者得以深入剖析模型在面对具有挑战性的数学问题时，其解题策略、错误模式以及计算效率之间的内在关联。这不仅推动了元认知评估方法的进步，也为跨学科研究——如将自然语言处理与数学逻辑形式化相结合——提供了坚实的数据基础，从而加速了通用人工智能在科学论证与数学发现领域的发展。

衍生相关工作

ArXivMath-Training-Outputs数据集的公开发布催生了一系列富有影响力的衍生研究工作。基于其提供的问题索引与多模型输出对比，研究者开发了针对数学文本的专用解析器和评分系统，显著提升了自动评估的可靠性。同时，围绕该数据集中的成本与性能记录，学界涌现出关于计算效率与推理能力平衡的探讨，推动了轻量化数学推理架构的设计。此外，该数据集与原始ArXivMath-Training的互补关系，激发出结合生成式反馈与对比学习的训练范式，通过充分利用模型成功与失败的尝试，衍生出更优的训练策略和对齐方法，进一步拓展了数学领域语言模型的研究边界。