MathArena/kangaroo_2025_7-8_outputs

--- dataset_info: features: - name: problem_idx dtype: int64 - name: image dtype: image - name: model_name dtype: string - name: model_config dtype: string - name: idx_answer dtype: int64 - name: all_messages dtype: string - name: user_message dtype: string - name: answer dtype: string - name: input_tokens dtype: int64 - name: output_tokens dtype: int64 - name: cost dtype: float64 - name: input_cost_per_tokens dtype: float64 - name: output_cost_per_tokens dtype: float64 - name: source dtype: float64 - name: history dtype: string - name: gold_answer dtype: string - name: parsed_answer dtype: string - name: correct dtype: bool splits: - name: train num_bytes: 787116095 num_examples: 2280 download_size: 727096827 dataset_size: 787116095 configs: - config_name: default data_files: - split: train path: data/train-* license: cc-by-nc-sa-4.0 language: - en pretty_name: Model Outputs Kangaroo 2025 7-8 size_categories: - 1K<n<10K --- ### Homepage and repository - **Homepage:** [https://matharena.ai/](https://matharena.ai/) - **Repository:** [https://github.com/eth-sri/matharena](https://github.com/eth-sri/matharena) ### Dataset Summary This dataset contains model answers to the questions from Kangaroo 2025 7-8 generated using the MathArena GitHub repository. ### Data Fields The dataset contains the following fields: - `problem_idx` (`int64`): Problem index within the corresponding MathArena benchmark. - `image` (`image`): Problem image associated with this model response. - `model_name` (`string`): Human-readable model name shown in MathArena results. - `model_config` (`string`): Path to the model configuration used to produce this response. - `idx_answer` (`int64`): Attempt index for this model/problem pair. - `all_messages` (`string`): JSON-serialized full conversation for this attempt. - `user_message` (`string`): User prompt sent to the model for this attempt. - `answer` (`string`): Full model response. - `input_tokens` (`int64`): Number of input tokens billed or counted for this attempt. - `output_tokens` (`int64`): Number of output tokens generated for this attempt. - `cost` (`float64`): Estimated API cost in USD for this attempt. - `input_cost_per_tokens` (`float64`): Input-token price used for cost estimation, in USD per one million tokens. - `output_cost_per_tokens` (`float64`): Output-token price used for cost estimation, in USD per one million tokens. - `source` (`float64`): Source or provenance identifier for the problem. - `history` (`string`): JSON-serialized intermediate solver or agent history, when available. - `gold_answer` (`string`): Gold answer used for automatic scoring. - `parsed_answer` (`string`): Answer extracted from the model response by the MathArena parser. - `correct` (`bool`): Whether the parsed model answer matched the gold answer, stored as a boolean or numeric 0/1 value. ### Source Data The original questions were sourced from the Albanian Kangaroo 2025. Questions were extracted, translated, and screenshotted. ### Licensing Information This dataset is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Please abide by the license when using the provided data. ### Citation Information ``` @article{dekoninck2026matharena, title={Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs}, author={Jasper Dekoninck and Nikola Jovanović and Tim Gehrunger and Kári Rögnvaldsson and Ivo Petrov and Chenhao Sun and Martin Vechev}, year={2026}, eprint={2605.00674}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2605.00674}, } ```This dataset contains model answers to questions from the Kangaroo 2025 7-8 competition generated using the MathArena GitHub repository. It includes fields such as problem index, problem image, ground-truth answer, model name, model configuration, answer attempt index, user message, model answer, parsed answer, correctness of the answer, number of input and output tokens, total cost, cost per million input and output tokens, etc. The original questions were sourced from the Albanian Kangaroo 2025 competition, extracted, translated, and screenshot.

搜集汇总

数据集介绍

构建方式

该数据集源自阿尔巴尼亚2025年袋鼠数学竞赛（Kangaroo 2025）中7-8年级的试题。原始题目经过提取、翻译与截图处理，随后借助MathArena开源评估框架，调用多种大语言模型生成解题答案。数据集的每条记录对应一次独立的模型作答尝试，包含问题索引、完整对话历史、模型回复、输入输出token数、API调用成本以及从模型输出中解析的答案与标准答案的比对结果。数据划分为一个训练集，共包含2280个样本，并以Parquet格式高效存储。

特点

数据集的一个显著特色在于其丰富的元信息字段，不仅涵盖了模型名称、配置路径、问题图像等基础标识，还详细记录了每次调用的计算资源消耗（如token数量与成本定价），为评估模型的经济效率提供了宝贵素材。此外，数据集中包含了完整的对话历史与中间求解过程，使得研究者可以深入分析模型推理的细粒度行为。最核心的是，每条数据都附有标准答案与自动解析结果及正确性标记，极大地方便了自动化评估与对比研究。

使用方法

使用者可在Hugging Face平台上直接通过`load_dataset`函数加载该数据集，并利用其提供的丰富字段进行多维度分析。这些字段支持研究者复现模型性能指标计算、剖析不同模型在数学推理任务上的表现差异。例如，基于`correct`字段可以快速评估模型准确率，而`input_tokens`与`output_tokens`则可用于计算计算成本与生成效率的关系。数据集以CC BY-NC-SA 4.0许可发布，使用时需遵守相应的非商业性与署名要求。

背景与挑战

背景概述

数学推理能力的评估是大型语言模型（LLM）研究中的核心课题，传统基准测试因其静态题目与有限覆盖范围，难以全面反映模型在真实数学竞赛场景中的表现。kangaroo_2025_7-8输出数据集由苏黎世联邦理工学院（ETH Zurich）的Jasper Dekoninck、Nikola Jovanović等研究人员创建，依托MathArena评估平台，收录了2025年阿尔巴尼亚袋鼠数学竞赛（Kangaroo 2025）7-8年级的题目及多模型回答。该数据集通过自动化流程完成翻译、截图与答案解析，旨在为LLM在数学竞赛领域的表现提供细粒度、可复现的评估资源，其发布推动了从静态基准向动态博弈式评估范式的转变。

当前挑战

该数据集所涉及的领域挑战在于，数学竞赛题目不仅依赖符号计算，更要求模型具备逻辑推理、视觉理解（如几何图形）与多步问题拆解能力，而当前LLM在处理这类跨模态、高抽象层次的开放问题时仍存在显著不足。构建过程中，团队面临的核心挑战包括：从非结构化竞赛试卷中精准提取并翻译题目，确保语义保真；对模型输出进行统一解析以适配自动评分，避免因格式差异导致的误判；以及跨模型、多实验配置下生成数据的质量控制，避免因API调用成本波动或模型更新影响数据一致性。

常用场景

经典使用场景

该数据集汇聚了多种大语言模型对2025年阿尔巴尼亚袋鼠数学竞赛（Kangaroo 2025）7-8年级试题的作答记录，堪称数学推理能力评估中的一块精密试金石。最经典的使用场景在于，研究者将模型生成的答案与官方标准答案进行逐一比对，并通过字段中的正确性标签来衡量模型在复杂数学推理任务上的表现。这一流程不仅涵盖对单一答案的评判，更允许深入分析模型在不同难度、不同知识领域试题上的错误模式，从而精准定位当前模型的数学推理短板。

实际应用

在实际应用中，该数据集可作为自动化竞赛辅导系统的核心验证组件。开发者可以在此数据集上训练或微调模型，使其更精准地理解竞赛题目的视觉与文本信息，并生成合乎逻辑的解答步骤。同时，教育科技公司能够利用其中的成本数据，优化模型在实时答疑场景中的算力消耗与响应速度，从而在控制运营成本的前提下提供高质量的数学辅导服务。此外，该数据集还可用于选拔和测试专为STEM领域设计的大型语言模型，帮助企业在模型选型阶段就掌握其真实的数学推理性价比。

衍生相关工作

围绕该数据集，一系列开拓性工作已然展开。其中最为瞩目的是MathArena评估平台的构建，它提供了一个标准化、可复现的测算框架，使得不同模型在同一竞赛题集上的表现得以公平比较。此外，数据集中完整保留的对话历史与解析答案，催生了关于模型推理轨迹分析的研究，促使学者开发出多种针对数学推理的提示工程策略与解耦式评分方法。未来，该数据集还有望衍生出针对视觉-语言协同推理的专项工作，推动模型从单纯的文本理解向图文结合的多模态数学素养迈进。