MathArena/kangaroo_2025_9-10_outputs

--- dataset_info: features: - name: problem_idx dtype: int64 - name: image dtype: image - name: model_name dtype: string - name: model_config dtype: string - name: idx_answer dtype: int64 - name: all_messages dtype: string - name: user_message dtype: string - name: answer dtype: string - name: input_tokens dtype: int64 - name: output_tokens dtype: int64 - name: cost dtype: float64 - name: input_cost_per_tokens dtype: float64 - name: output_cost_per_tokens dtype: float64 - name: source dtype: float64 - name: history dtype: string - name: gold_answer dtype: string - name: parsed_answer dtype: string - name: correct dtype: bool splits: - name: train num_bytes: 603242578 num_examples: 2280 download_size: 551761740 dataset_size: 603242578 configs: - config_name: default data_files: - split: train path: data/train-* license: cc-by-nc-sa-4.0 language: - en pretty_name: Model Outputs Kangaroo 2025 9-10 size_categories: - 1K<n<10K --- ### Homepage and repository - **Homepage:** [https://matharena.ai/](https://matharena.ai/) - **Repository:** [https://github.com/eth-sri/matharena](https://github.com/eth-sri/matharena) ### Dataset Summary This dataset contains model answers to the questions from Kangaroo 2025 9-10 generated using the MathArena GitHub repository. ### Data Fields The dataset contains the following fields: - `problem_idx` (`int64`): Problem index within the corresponding MathArena benchmark. - `image` (`image`): Problem image associated with this model response. - `model_name` (`string`): Human-readable model name shown in MathArena results. - `model_config` (`string`): Path to the model configuration used to produce this response. - `idx_answer` (`int64`): Attempt index for this model/problem pair. - `all_messages` (`string`): JSON-serialized full conversation for this attempt. - `user_message` (`string`): User prompt sent to the model for this attempt. - `answer` (`string`): Full model response. - `input_tokens` (`int64`): Number of input tokens billed or counted for this attempt. - `output_tokens` (`int64`): Number of output tokens generated for this attempt. - `cost` (`float64`): Estimated API cost in USD for this attempt. - `input_cost_per_tokens` (`float64`): Input-token price used for cost estimation, in USD per one million tokens. - `output_cost_per_tokens` (`float64`): Output-token price used for cost estimation, in USD per one million tokens. - `source` (`float64`): Source or provenance identifier for the problem. - `history` (`string`): JSON-serialized intermediate solver or agent history, when available. - `gold_answer` (`string`): Gold answer used for automatic scoring. - `parsed_answer` (`string`): Answer extracted from the model response by the MathArena parser. - `correct` (`bool`): Whether the parsed model answer matched the gold answer, stored as a boolean or numeric 0/1 value. ### Source Data The original questions were sourced from the Albanian Kangaroo 2025. Questions were extracted, translated, and screenshotted. ### Licensing Information This dataset is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Please abide by the license when using the provided data. ### Citation Information ``` @article{dekoninck2026matharena, title={Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs}, author={Jasper Dekoninck and Nikola Jovanović and Tim Gehrunger and Kári Rögnvaldsson and Ivo Petrov and Chenhao Sun and Martin Vechev}, year={2026}, eprint={2605.00674}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2605.00674}, } ```This dataset contains model answers to the questions from Kangaroo 2025 9-10 generated using the MathArena GitHub repository. Each problem has multiple attempts by different models, including information such as problem index, problem image, ground-truth answer, model name, model configuration, answer index, user message, model answer, parsed answer, correctness of the answer, number of input and output tokens, total cost, and cost per million input and output tokens.

搜集汇总

数据集介绍

构建方式

该数据集源自对阿尔巴尼亚Kangaroo 2025数学竞赛中9至10年级试题的系统性采集，经由题目提取、翻译与截图处理，构建了规范的评估样本集。利用MathArena开源代码库，通过调用多种语言模型进行推理，捕获了每次推理的完整对话记录、令牌消耗与成本估算等元数据。每条数据均包含题目索引、原始图像、模型名称、配置路径、用户提示、完整回答、解析后答案及正确性标记，形成了结构清晰的多维记录。

特点

数据集涵盖了2280条训练样本，涉及多个模型对同一数学问题的多次作答，便于分析不同模型在同源问题上的表现差异。除标准问答内容外，详细记录了输入输出令牌数、API成本估算及价格参数，为成本效益分析提供了基础。同时保留了中间求解历史与解析后答案，支持对模型推理过程的深度回溯与错误模式识别，具备科学研究所需的丰富性与可解释性。

使用方法

数据集以HuggingFace Datasets格式存储，可通过标准加载接口便捷使用。研究人员可直接访问'image'字段展示题目视觉信息，利用'correct'字段评估模型准确性，或结合'input_tokens'与'cost'进行效率分析。'all_messages'与'history'字段提供了完整的对话与推理轨迹，适用于链式推理分析或提示工程优化。数据集采用CC BY-NC-SA 4.0许可，适用于非商业性学术研究。

背景与挑战

背景概述

在大型语言模型（LLM）能力快速演进的背景下，数学推理能力的评估已成为自然语言处理领域的前沿课题。为了解决现有基准测试存在的语言文化偏向与题目可迁移性不足等问题，ETH Zürich安全可靠学习课题组于2025年构建了kangaroo_2025_9-10数据集。该数据集源自2025年阿尔巴尼亚袋鼠数学竞赛（Kangaroo 2025）9-10年级试题，经提取、翻译与截图处理后，收录了2280条模型输出样本，覆盖模型名称、输出内容、推理成本及正确性等元信息。作为MathArena评估平台生态的有机组成部分，该数据集致力于为多语言、多来源的数学推理能力诊断提供细粒度、可复现的评测基础，推动LLM在数学领域的泛化能力研究走向深入。

当前挑战

该数据集面临的核心挑战主要体现在三个层面。首先，袋鼠数学竞赛试题高度依赖视觉信息与多步推理，而现有模型在处理包含图表的图像输入与长链条逻辑时，往往出现语义理解偏差或因果链断裂，这构成领域问题层面的主要障碍。其次，数据集构建过程中，原始题目经历了非英语语境下的提取与翻译，跨语言命名实体歧义、单位转换规则不一致以及截图质量参差等问题，可能导致自动评分中的解析误差与正确性标注偏移。此外，成本与token消耗数据的引入虽有助于经济性分析，但不同API定价策略的差异给“推理成本－准确率”之间的标准化比较制造了新的复杂性。

常用场景

经典使用场景

在数学推理与大型语言模型的交叉研究领域，kangaroo_2025_9-10_outputs数据集被设计用于系统评估和比较不同模型在解决数学竞赛题目上的表现。该数据集包含了来自阿尔巴尼亚袋鼠数学竞赛2025年9-10年级的题目及其对应的模型输出，覆盖了问题索引、模型名称、完整对话记录、令牌消耗及成本等详尽的元数据。研究者可以通过这些结构化的信息，精准分析模型在数学推理任务中的准确率、效率与鲁棒性。该数据集尤其适合作为数学推理评测的标准化测试集，是验证和优化大模型数学能力不可或缺的基准资源。

实际应用

在实际应用中，该数据集为教育科技、智能辅导系统的开发提供了重要支撑。基于数据集中的模型输出与正确答案，开发者可以训练和微调出能够自动解析数学题目、提供分步讲解的智能助教。数据集中记录的成本和令牌消耗信息，还使得企业能够在预算约束下，选择性价比最优的模型部署方案。此外，该数据集也可用于构建数学竞赛的自动化评分与反馈系统，极大减轻教师在竞赛辅导和批改环节的工作负担。

衍生相关工作

围绕kangaroo_2025_9-10_outputs数据集，学界已涌现出一系列衍生工作。一方面，研究者基于该数据构建了更系统的数学推理评测框架，如MathArena平台，它通过标准化流程对模型进行多维度评估并公开结果，促进了模型之间的公平比较。另一方面，该数据集被用于生成模型推理过程的解释性研究，例如分析模型在错误解答中的思维链断裂模式。此外，部分工作还利用它作为数据源，训练专门针对数学领域的检索增强生成系统，提升了模型对竞赛题目的解答准确率。