MathArena/kangaroo_2025_5-6_outputs

--- dataset_info: features: - name: problem_idx dtype: int64 - name: image dtype: image - name: model_name dtype: string - name: model_config dtype: string - name: idx_answer dtype: int64 - name: all_messages dtype: string - name: user_message dtype: string - name: answer dtype: string - name: input_tokens dtype: int64 - name: output_tokens dtype: int64 - name: cost dtype: float64 - name: input_cost_per_tokens dtype: float64 - name: output_cost_per_tokens dtype: float64 - name: source dtype: float64 - name: history dtype: string - name: gold_answer dtype: string - name: parsed_answer dtype: string - name: correct dtype: bool splits: - name: train num_bytes: 878916723 num_examples: 2309 download_size: 806697002 dataset_size: 878916723 configs: - config_name: default data_files: - split: train path: data/train-* --- dataset_info: features: - name: problem_idx dtype: int64 - name: image dtype: image - name: model_name dtype: string - name: model_config dtype: string - name: idx_answer dtype: int64 - name: user_message dtype: string - name: answer dtype: string - name: input_tokens dtype: int64 - name: output_tokens dtype: int64 - name: cost dtype: float64 - name: input_cost_per_tokens dtype: float64 - name: output_cost_per_tokens dtype: float64 - name: source dtype: float64 - name: gold_answer dtype: string - name: parsed_answer dtype: string - name: correct dtype: bool splits: - name: train num_bytes: 232526992.0 num_examples: 768 download_size: 57276211 dataset_size: 232526992.0 configs: - config_name: default data_files: - split: train path: data/train-* license: cc-by-nc-sa-4.0 language: - en pretty_name: Model Outputs Kangaroo 2025 5-6 size_categories: - 1K<n<10K --- ### Homepage and repository - **Homepage:** [https://matharena.ai/](https://matharena.ai/) - **Repository:** [https://github.com/eth-sri/matharena](https://github.com/eth-sri/matharena) ### Dataset Summary This dataset contains model answers to the questions from Kangaroo 2025 5-6 generated using the MathArena GitHub repository. ### Data Fields The dataset contains the following fields: - `problem_idx` (`int64`): Problem index within the corresponding MathArena benchmark. - `image` (`image`): Problem image associated with this model response. - `model_name` (`string`): Human-readable model name shown in MathArena results. - `model_config` (`string`): Path to the model configuration used to produce this response. - `idx_answer` (`int64`): Attempt index for this model/problem pair. - `all_messages` (`string`): JSON-serialized full conversation for this attempt. - `user_message` (`string`): User prompt sent to the model for this attempt. - `answer` (`string`): Full model response. - `input_tokens` (`int64`): Number of input tokens billed or counted for this attempt. - `output_tokens` (`int64`): Number of output tokens generated for this attempt. - `cost` (`float64`): Estimated API cost in USD for this attempt. - `input_cost_per_tokens` (`float64`): Input-token price used for cost estimation, in USD per one million tokens. - `output_cost_per_tokens` (`float64`): Output-token price used for cost estimation, in USD per one million tokens. - `source` (`float64`): Source or provenance identifier for the problem. - `history` (`string`): JSON-serialized intermediate solver or agent history, when available. - `gold_answer` (`string`): Gold answer used for automatic scoring. - `parsed_answer` (`string`): Answer extracted from the model response by the MathArena parser. - `correct` (`bool`): Whether the parsed model answer matched the gold answer, stored as a boolean or numeric 0/1 value. ### Source Data The original questions were sourced from the Albanian Kangaroo 2025. Questions were extracted, translated, and screenshotted. ### Licensing Information This dataset is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Please abide by the license when using the provided data. ### Citation Information ``` @article{dekoninck2026matharena, title={Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs}, author={Jasper Dekoninck and Nikola Jovanović and Tim Gehrunger and Kári Rögnvaldsson and Ivo Petrov and Chenhao Sun and Martin Vechev}, year={2026}, eprint={2605.00674}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2605.00674}, } ```MathArena 2025 5-6 Competition Model Answers Dataset, containing model answers to math problems and related feature information.

搜集汇总

数据集介绍

构建方式

该数据集源于对阿尔巴尼亚2025年袋鼠数学竞赛5-6年级试题的深度加工与再造。原始试题经提取、翻译及截图处理后，依托MathArena开源框架，由多种大语言模型逐题生成解答。每道试题均配置多轮独立尝试（由idx_answer字段标识），记录完整的对话历史（all_messages）、用户指令及模型原始输出。所有解答均经过解析器提取答案（parsed_answer），并与标准答案（gold_answer）比对，以布尔值标记正误（correct）。构建过程兼顾了题目来源的多样性、模型的异构性以及评分流程的自动化。

特点

数据集的核心特色在于其多维度的结构化信息记录。除了常规的模型名称、配置与答案外，还细致追踪了每次推理的输入、输出令牌数及预估经济成本，为不同模型的效率与开销对比提供了实证基础。历史字段（history）的保留使得对模型推理过程中间步骤的复现与分析成为可能。同时，数据集涵盖了从题目编号、图像到成本单价等十余个字段，构成了一个信息密集、检索便利的评测资源，适用于纵深剖析模型在数学推理任务上的表现。

使用方法

使用者可通过HuggingFace Datasets库直接加载该数据集，获取图像与文本混合的挑战性数学问题。建议研究人员利用problem_idx字段关联原始基准试题，借助model_name与model_config字段对比不同模型与配置的表现差异。correct与parsed_answer字段可直接用于评估模型解答的正确率与解析鲁棒性。对于关注推理效率与计算开销的研究，input_tokens、output_tokens与cost字段提供了量化分析的依据。数据集体积适中，包含约2300余条数据样本，适合作为评测大语言模型数理推理能力的辅助工具。

背景与挑战

背景概述

在大型语言模型（LLM）数学推理能力评估领域，现有基准测试常因数据泄露或题目重复而难以真实反映模型性能。2026年，由苏黎世联邦理工学院Jasper Dekoninck、Nikola Jovanović等研究者提出的MathArena平台，旨在构建动态、可更新的评估体系。作为该平台的重要组成部分，kangaroo_2025_5-6数据集收集了2025年阿尔巴尼亚袋鼠数学竞赛（Kangaroo 2025）5-6年级试题的模型输出，包含2309条训练样本，涵盖图像、模型配置、令牌消耗及成本等16个字段。该数据集通过标准化评分机制（parsed_answer与gold_answer对比），为研究LLM在多模态数学推理中的表现提供了稀缺的竞赛级数据资源，推动了数学评估从静态基准向动态平台的范式转变。

当前挑战

该数据集面临的核心挑战源于数学推理评估的复杂性。首先，领域问题层面，LLM在处理多模态数学题时需同时理解图像中的几何图形与文本条件，现有模型常因视觉编码与符号推理的脱节而产生逻辑错误。其次，构建过程中，原始试题需经历提取、翻译与截图处理，语言转换可能引入歧义，而截图分辨率或清晰度差异会干扰模型对题目条件的准确感知。此外，数据集的自动化评分依赖parsed_answer与gold_answer的精确匹配，但LLM的输出格式多变，解析器（parser）可能因微小的语法差异而误判正确回答，导致评估偏差。这些挑战共同制约了数据集在衡量模型真实数学能力上的可靠性。

常用场景

经典使用场景

在数学推理与多模态语言模型的交叉领域中，kangaroo_2025_5-6_outputs数据集作为一项重要的评估资源，记录了各类模型对阿尔巴尼亚袋鼠数学竞赛2025年5-6年级试题的作答情况。其经典使用场景集中于对大规模语言模型（LLMs）的数学推理能力进行系统化测评，研究者通过比对人机答案的差异，能够深入剖析模型在视觉文本混合问题上的理解偏差、逻辑链断裂与计算错误等典型缺陷。该数据集提供了丰富的元信息，包括输入输出令牌数、API调用成本以及完整的对话历史，使得细粒度的行为分析成为可能。基于这些结构化记录，学术界得以构建更精准的数学推理难度评估框架，并为后续改进模型在结构化问题上的泛化表现奠定了实证基础。

解决学术问题

该数据集有力回应了当前学术界面临的一类核心挑战——如何超越封闭式基准测试，在更具开放性和情境复杂性的数学问题中公正评估语言模型的真实能力。传统基准多基于静态题库，难以捕捉模型在多样化题型与表述方式下的适应能力，而kangaroo_2025_5-6_outputs通过引入竞赛级视觉推理题，揭示了模型在读图理解、跨模态对齐以及逻辑演绎等环节存在的系统性短板。这些发现促使研究者重新审视现有模型架构在符号演绎与空间推理上的局限性，并推动了对提示工程、多步推理链优化以及领域特化微调策略的深入探索。因此，该数据集不仅为评估提供了标准化参考，更激发出对数学人工智能基础理论的新一轮反思与进步。

衍生相关工作

围绕kangaroo_2025_5-6_outputs数据集，学术界已经衍生出一系列具有影响力的工作。最直接的是MathArena平台本身的建设，该平台凭借对多轮对话、成本追踪以及裁判一致性校验的精细设计，成为了评估数学推理能力的前沿基础设施。受此启发，研究者进一步探索了跨语言数学推理中的文化偏见问题，利用数据集中的翻译题源校准模型对不同表述风格的敏感度。同时，基于该数据的错误分析催生了多智能体协作框架与自我反思机制的设计，有效提升了模型在复杂证明题与多步运算任务中的鲁棒性。此外，数据集收录的完整历史记录也被用于训练具有记忆能力的新一代推理智能体，使得模型能够在长链推理中维持更连贯的思维脉络。这些衍生工作共同推动了数学人工智能从单点测试向系统化进化的转变。