agicorp/MathInstruct

---
license: mit
task_categories:
- text-generation
language:
- en
pretty_name: MathInstruct
size_categories:
- 100K<n<1M
tags:
- math
---

# 🦣 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning

MathInstruct is a meticulously curated instruction tuning dataset that is lightweight yet generalizable. MathInstruct is compiled from 13 math rationale datasets, six of which are newly curated by this work. It uniquely focuses on the hybrid use of chain-of-thought (CoT) and program-of-thought (PoT) rationales, and ensures extensive coverage of diverse mathematical fields.

Project Page: [https://tiger-ai-lab.github.io/MAmmoTH/](https://tiger-ai-lab.github.io/MAmmoTH/)

Paper: [https://arxiv.org/pdf/2309.05653.pdf](https://arxiv.org/pdf/2309.05653.pdf)

Code: [https://github.com/TIGER-AI-Lab/MAmmoTH](https://github.com/TIGER-AI-Lab/MAmmoTH)

Models:
| | **Base Model: Llama-2** | **Base Model: Code Llama** |
|-----|---------------------------------------------------------------|--------------------------------------------------------------------------|
| 7B | 🦣 [MAmmoTH-7B](https://huggingface.co/TIGER-Lab/MAmmoTH-7B) | 🦣 [MAmmoTH-Coder-7B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-7B) |
| 13B | 🦣 [MAmmoTH-13B](https://huggingface.co/TIGER-Lab/MAmmoTH-13B) | 🦣 [MAmmoTH-Coder-13B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-13B)|
| 34B | - | 🦣 [MAmmoTH-Coder-34B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-34B)|
| 70B | 🦣 [MAmmoTH-70B](https://huggingface.co/TIGER-Lab/MAmmoTH-70B) | - |

## **License**
Please check out the license of each subset in our curated dataset MathInstruct.
| Dataset Name | License Type |
|--------------|----------------|
| GSM8K | MIT |
| GSM8K-RFT | Non listed |
| AQuA-RAT | Apache 2.0 |
| MATH | MIT |
| TheoremQA | MIT |
| Camel-Math | Attribution-NonCommercial 4.0 International |
| NumGLUE | Apache-2.0 |
| MathQA | Apache-2.0 |
| Our Curated | MIT |

## **Citation**

Please cite our paper if you use our data, model or code. Please also kindly cite the original dataset papers.

```
@article{yue2023mammoth,
title={MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning},
author={Xiang Yue, Xingwei Qu, Ge Zhang, Yao Fu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen},
journal={arXiv preprint arXiv:2309.05653},
year={2023}
}
```

许可证：MIT
任务类别：
- 文本生成
语言：
- 英语
展示名称：MathInstruct
规模区间：10万 < 样本数 < 100万
标签：
- 数学

# 🦣 MAmmoTH：通过混合指令微调构建数学通用模型

MathInstruct是一款经过精心整理的指令微调数据集，兼具轻量性与强泛化能力。该数据集整合自13个数学推理原理数据集，其中6个为本研究首次整理构建。其独特优势在于融合使用思维链（Chain-of-Thought, CoT）与思维程序（Program-of-Thought, PoT）两种推理范式，并确保全面覆盖多类数学分支领域。

项目主页：[https://tiger-ai-lab.github.io/MAmmoTH/](https://tiger-ai-lab.github.io/MAmmoTH/)
学术论文：[https://arxiv.org/pdf/2309.05653.pdf](https://arxiv.org/pdf/2309.05653.pdf)
代码仓库：[https://github.com/TIGER-AI-Lab/MAmmoTH](https://github.com/TIGER-AI-Lab/MAmmoTH)

## 模型列表

| | **基础模型：Llama-2** | **基础模型：Code Llama** |
|-----|---------------------------------------------------------------|--------------------------------------------------------------------------|
| 7B | 🦣 [MAmmoTH-7B](https://huggingface.co/TIGER-Lab/MAmmoTH-7B) | 🦣 [MAmmoTH-Coder-7B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-7B) |
| 13B | 🦣 [MAmmoTH-13B](https://huggingface.co/TIGER-Lab/MAmmoTH-13B) | 🦣 [MAmmoTH-Coder-13B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-13B)|
| 34B | - | 🦣 [MAmmoTH-Coder-34B](https://huggingface.co/TIGER-Lab/MAmmoTH-Coder-34B)|
| 70B | 🦣 [MAmmoTH-70B](https://huggingface.co/TIGER-Lab/MAmmoTH-70B) | - |

## 许可证说明

请查阅本研究整理的MathInstruct数据集中各子集对应的许可证类型：

| 数据集名称 | 许可证类型 |
|--------------|----------------|
| GSM8K | MIT |
| GSM8K-RFT | 未列明 |
| AQuA-RAT | Apache 2.0 |
| MATH | MIT |
| TheoremQA | MIT |
| Camel-Math | 署名-非商业使用4.0国际版 |
| NumGLUE | Apache-2.0 |
| MathQA | Apache-2.0 |
| 本工作整理数据集 | MIT |

## 引用说明

若您使用本数据集、模型或代码，请引用本文献，同时也请一并引用各原始数据集的相关学术论文。

@article{yue2023mammoth,
title={MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning},
author={Xiang Yue, Xingwei Qu, Ge Zhang, Yao Fu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen},
journal={arXiv preprint arXiv:2309.05653},
year={2023}
}

原始信息汇总

数据集概述

名称: MathInstruct

许可证: MIT

任务类别: 文本生成

语言: 英语

大小类别: 10万至100万之间

标签: 数学

数据集详情

• 来源: MathInstruct数据集由13个数学推理数据集组成，其中6个为本工作新编制的。
• 特点: 专注于混合使用链式思维（CoT）和程序思维（PoT）推理，覆盖广泛的数学领域。
• 模型:
  • 基础模型: Llama-2 和 Code Llama
  • 模型版本:
    • 7B: MAmmoTH-7B, MAmmoTH-Coder-7B
    • 13B: MAmmoTH-13B, MAmmoTH-Coder-13B
    • 34B: MAmmoTH-Coder-34B
    • 70B: MAmmoTH-70B

许可证详情

• GSM8K: MIT
• GSM8K-RFT: 未列出
• AQuA-RAT: Apache 2.0
• MATH: MIT
• TheoremQA: MIT
• Camel-Math: Attribution-NonCommercial 4.0 International
• NumGLUE: Apache-2.0
• MathQA: Apache-2.0
• Our Curated: MIT

引用信息

@article{yue2023mammoth, title={MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning}, author={Xiang Yue, Xingwei Qu, Ge Zhang, Yao Fu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen}, journal={arXiv preprint arXiv:2309.05653}, year={2023} }

搜集汇总

数据集介绍

构建方式

在数学推理领域，高质量指令数据的构建是提升模型泛化能力的关键。MathInstruct数据集通过整合13个数学推理数据集精心构建而成，其中包含六项为本研究新近整理的数据资源。该构建过程特别注重融合链式思维与程序思维两种推理路径，旨在覆盖代数、几何、概率等多个数学分支，从而形成一套既轻量又具备广泛适应性的指令微调数据集合。

特点

该数据集的核心特征在于其独特的混合推理设计，同时纳入了链式思维与程序思维两种解题逻辑，这为模型提供了多样化的推理模式学习机会。其内容跨越了从基础算术到高阶数学的广泛领域，确保了数学主题的全面性与深度。此外，数据集规模适中，在十万至百万条样本之间，兼顾了数据质量与训练效率，为构建通用数学模型奠定了坚实基础。

使用方法

该数据集主要用于数学通用模型的指令微调阶段。研究人员可将其加载至如Llama-2或Code Llama等基础预训练模型之上，通过监督微调方式训练模型解决复杂数学问题的能力。使用时应遵循各子数据集的原始许可协议，并可在模型训练完成后，参照提供的模型卡片将其部署于数学问题求解、教育辅助等实际应用场景之中。

背景与挑战

背景概述

数学推理作为人工智能领域的一项核心挑战，其关键在于模型需具备严谨的逻辑推演与符号运算能力。MathInstruct数据集由TIGER-AI实验室于2023年构建，旨在通过混合指令微调策略，培育具备广泛数学问题解决能力的通用模型。该数据集精心整合了13个数学推理数据集，其中六项为团队新近构建，其核心研究聚焦于融合思维链与程序链的混合推理路径，以覆盖代数、几何、数论等多个数学分支，为数学通用智能体的发展提供了高质量、轻量化的训练资源。

当前挑战

在数学问题求解领域，模型需克服复杂多步推理与精确符号处理的固有难题，MathInstruct所应对的挑战在于如何统一处理形式各异的数学表述，并协调自然语言推理与可执行代码生成之间的差异。数据构建过程中，研究团队面临多重挑战：一是需从异构数据源中提取并标准化高质量解题过程，确保逻辑连贯性；二是平衡思维链与程序链两种范式的覆盖范围与数据质量，以实现有效的混合监督；三是维持数据集的轻量化特性，同时保障其在多样数学主题上的泛化能力，避免过拟合于特定问题类型。

常用场景

经典使用场景

在数学推理与指令调优领域，MathInstruct数据集被广泛用于训练具备通用数学问题解决能力的大型语言模型。其核心应用场景在于通过融合思维链与程序链的混合推理范式，引导模型生成结构化的数学解题步骤。该数据集覆盖了代数、几何、概率等多个数学分支，为模型提供了丰富的跨领域推理示例，从而有效提升了模型在复杂数学任务中的泛化性能与解释性。

衍生相关工作

基于MathInstruct衍生的经典工作包括MAmmoTH系列模型及其变体，这些模型在数学推理基准测试中取得了突破性表现。后续研究进一步拓展了混合推理在符号数学与几何证明中的应用，并催生了多个专注于数学指令优化的新数据集。这些工作共同推动了数学智能向更专业化、可解释化的方向发展，形成了完整的数学推理研究生态体系。

数据集最近研究

最新研究方向

在数学推理领域，MathInstruct数据集正推动着通用数学模型的构建。该数据集通过整合13个数学原理数据集，并创新性地融合了思维链与程序链的混合推理方法，为模型训练提供了多样化的数学问题覆盖。当前研究热点聚焦于利用此类混合指令微调技术，提升模型在复杂数学问题上的泛化能力与精确性，相关成果如MAmmoTH系列模型已在代码生成与自然语言推理任务中展现出显著影响，为人工智能在科学计算与教育应用中的深化奠定了基础。