cyzhh/MMOS

---
license: mit
task_categories:
- question-answering
language:
- en
tags:
- math
- reasoning
- code
size_categories:
- 100K<n<1M
---
[ArXiv](https://arxiv.org/abs/2403.00799) | [Models](https://pan.quark.cn/s/2d16e640ed07) | [Data](https://huggingface.co/datasets/cyzhh/MMOS) | [Code](https://github.com/cyzhh/MMOS) |

You can download the dataset as follows
```python
from datasets import load_dataset
ds = load_dataset("cyzhh/MMOS")
```

### Schema
Each dataset row has the following structure
```python
{
"idx": ..., # problem id
"prompt": ..., # problem
"completion": ... # reasoning path with python
}
```
### License
We do not alter the license of any of the underlying data.

### Citation
For the MMOS, cite
```
@misc{chen2024empirical,
title={An Empirical Study of Data Ability Boundary in LLMs' Math Reasoning},
author={Zui Chen and Yezeng Chen and Jiaqi Han and Zhijie Huang and Ji Qi and Yi Zhou},
year={2024},
eprint={2403.00799},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

许可证：MIT许可证
任务类别：问答（question-answering）
语言：英语
标签：数学、推理、代码
样本规模：10万<样本数<100万

[ArXiv论文](https://arxiv.org/abs/2403.00799) | [模型资源](https://pan.quark.cn/s/2d16e640ed07) | [数据集](https://huggingface.co/datasets/cyzhh/MMOS) | [代码仓库](https://github.com/cyzhh/MMOS) |

可通过如下方式下载该数据集：
python
from datasets import load_dataset
ds = load_dataset("cyzhh/MMOS")

### 数据集结构
每条数据样本具有如下结构：
python
{
"idx": ..., # 问题编号
"prompt": ..., # 问题题干
"completion": ... # 附带Python代码的推理路径
}

### 许可证声明
我们未对原始数据的许可证条款进行任何修改。

### 引用说明
若需引用MMOS数据集，请使用如下参考文献：

@misc{chen2024empirical,
title={An Empirical Study of Data Ability Boundary in LLMs' Math Reasoning},
author={Zui Chen and Yezeng Chen and Jiaqi Han and Zhijie Huang and Ji Qi and Yi Zhou},
year={2024},
eprint={2403.00799},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 问答
• 语言: 英语
• 标签: 数学, 推理, 代码
• 规模类别: 100K<n<1M

数据结构

每个数据集行包含以下结构： python { "idx": ..., # 问题ID "prompt": ..., # 问题 "completion": ... # 推理路径（Python代码） }

许可证

数据集不改变任何底层数据的许可证。

引用

对于MMOS数据集，请引用以下内容：

@misc{chen2024empirical, title={An Empirical Study of Data Ability Boundary in LLMs Math Reasoning}, author={Zui Chen and Yezeng Chen and Jiaqi Han and Zhijie Huang and Ji Qi and Yi Zhou}, year={2024}, eprint={2403.00799}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在大型语言模型数学推理能力的研究背景下，MMOS数据集由研究者基于对数据能力边界的实证探索构建而成。该数据集汇聚了超过十万条数学推理与代码相关的问答对，每条数据包含问题标识符、问题描述以及带有Python代码的完整推理路径。构建过程中，团队系统性地整合了多种数学推理任务，确保数据覆盖从基础算术到复杂逻辑推理的广泛难度层级，并保留了推理过程的透明性与可复现性。

特点

MMOS数据集的核心特色在于其专注于数学推理与代码生成的交叉领域，提供了结构化的推理链而非仅最终答案。每个样本均包含以Python代码形式呈现的逐步推理过程，这使模型不仅能学习结果，更能掌握中间推导逻辑。数据集规模介于十万至百万之间，兼顾了多样性与训练效率，且所有数据均遵循MIT许可协议开放，便于学术研究与工业应用。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集，执行`load_dataset("cyzhh/MMOS")`即可获取完整内容。数据以标准格式呈现，包含idx、prompt和completion三个字段，适合用于微调、评估或作为数学推理任务的基准。研究者可基于其中的推理路径进行模型训练，或利用其代码片段增强语言模型的符号计算能力，同时可引用相关论文以确保学术规范。

背景与挑战

背景概述

在大型语言模型（LLMs）的数学推理能力研究中，数据质量与边界效应成为关键瓶颈。2024年，由陈祖、陈叶曾、韩佳琦、黄志杰、齐骥和周毅组成的研究团队，基于对LLMs数学推理中数据能力边界的实证探索，构建了MMOS数据集。该数据集聚焦于数学推理与代码生成任务，包含超过10万条带Python推理路径的问答对，旨在系统评估不同数据规模与复杂度对模型推理能力的影响。MMOS的发布不仅为数学推理领域提供了标准化基准，还揭示了数据多样性在提升模型泛化能力中的重要作用，对后续研究具有深远影响。

当前挑战

MMOS数据集面临的核心挑战包括：首先，数学推理任务本身具有高度逻辑性与符号化特征，现有模型常因缺乏因果推理能力而在复杂问题中失效，数据集需覆盖从基础算术到高阶证明的多层次问题以逼近真实边界；其次，构建过程中需确保推理路径的准确性与多样性，人工标注与自动生成路径的混合策略可能引入噪声或偏差，例如部分Python代码存在语法歧义或逻辑跳跃，影响模型学习的鲁棒性；此外，数据规模与模型能力的非线性关系尚未明确，如何平衡数据量的增加与边际收益递减是后续研究的重要难题。

常用场景

经典使用场景

MMOS（Math Reasoning with Multiple Operational Steps）数据集专为探究大语言模型在数学推理任务中的能力边界而构建，其经典使用场景聚焦于多步数学推理与代码辅助推理的交叉领域。该数据集包含数十万条带有逐步推理路径的数学问题，每条样本以自然语言问题为提示，并配以Python代码形式的完整推理过程，从而为模型提供从问题理解到符号计算、再到结果验证的端到端学习范例。研究者可借助MMOS系统性地评估模型在复杂代数、几何及逻辑推理任务中的表现，尤其关注多步操作中错误累积与纠错机制。该数据集还支持对比实验，通过调控推理路径的显式程度与代码介入比例，揭示链式思维提示、工具增强推理等策略对数学问题求解效能的深层影响。

解决学术问题

MMOS数据集旨在破解大语言模型在数学推理中普遍存在的“能力边界模糊”这一核心学术难题。传统基准测试往往仅关注最终答案的正确性，而忽略了推理过程的鲁棒性与可解释性。MMOS通过提供结构化、可复现的代码级推理路径，使研究者能够量化模型在每一步逻辑跳转中的准确率、稳定性及对错误前提的敏感性，从而系统解析模型“为何犯错”与“如何纠错”的机制。该数据集解决的学术问题包括：多步推理中误差传播的衰减规律、自然语言与符号计算衔接的语义鸿沟、以及模型在未见过的数学结构上的泛化极限。其意义在于为构建具有真正数学智能的通用推理系统提供了可测量的理论基线，推动了从“答案正确率”到“推理可信度”的评估范式转变。

衍生相关工作

MMOS数据集的发布催生了多项具有影响力的衍生工作。其一，研究者基于其多步推理结构提出了“渐进式代码反馈”训练框架，通过将推理路径拆解为原子操作并逐级注入错误信号，显著提升了模型在长链推理任务中的鲁棒性。其二，该数据集被用作评估“工具增强型推理”范式的标准平台，相关研究对比了外部计算器调用、符号引擎集成与纯端到端推理的性能差异，揭示了工具调用时机对推理效率的关键影响。其三，受MMOS启发，学界开始探索“推理路径多样性”与“泛化能力”之间的关联，催生了基于对比学习的多路径推理蒸馏方法。此外，该数据集还为数学领域的知识蒸馏研究提供了高质量教师信号，推动了轻量级模型在数学推理任务上的性能突破。