AtomMATH

AtomMATH是一个大规模的多模态数据集，用于长链思维（CoT）的数学任务。该数据集旨在解决缺乏高质量视觉数学数据的挑战，并提供了一个原子能力评估指标来评估数学任务的每一步推理。

AtomMATH is a large-scale multimodal dataset designed for chain-of-thought (CoT) mathematical reasoning tasks. This dataset aims to address the challenge of insufficient high-quality visual mathematical data, and provides an atomic capability evaluation metric to evaluate the reasoning steps of each mathematical task.

原始信息汇总

AtomThink 数据集概述

数据集详情

数据集名称

• AtomMATH

数据集用途

• 用于指令微调（AMATH-SFT）和训练策略奖励模型（AMATH-PRM）。

数据集来源

• 数据集包含多个子数据集，具体如下：

Source	Meta Samples	AMATH-SFT	AMATH-PRM
CLEVR	1929	11.2k	25k
Geometry3K	1201	11.1k	15.6k
MAVIS	3654	17.7k	30.5k
TabMWP	2463	15.7k	25.7k
GeomVerse	1347	9.9k	17k
MathV360K	10157	53.5k	24.8k
MMMU	76	0.6k	1.2k
GeoQA+	2082	19.5k	0
IconQA	3199	18.1k	0
Total	26108	157k	130k

数据集示例

• AMATH-SFT 数据集示例：

  • 示例1：
  • 示例2：

• AMATH-PRM 数据集示例：

  • 示例1：
  • 示例2：

搜集汇总

数据集介绍

构建方式

在构建AtomMATH数据集时，研究团队采用了多源数据融合的方法，从CLEVR、Geometry3K、MAVIS、TabMWP、GeomVerse、MathV360K、MMMU、GeoQA+和IconQA等多个数据源中提取样本，并进行细致的标注和整合。这些数据源涵盖了不同类型的数学问题，通过精心设计的CoT（Chain of Thought）注释引擎，自动生成高质量的CoT注释，以弥补视觉数学数据的高质量缺失。此外，数据集分为AMATH-SFT和AMATH-PRM两个部分，分别用于指令微调和策略奖励模型的训练，确保数据集在多模态数学任务中的广泛适用性和深度优化。

特点

AtomMATH数据集的显著特点在于其多模态性和高度结构化的数据组织。该数据集不仅包含了丰富的视觉和文本信息，还通过CoT注释引擎生成了详细的推理链，使得模型能够在复杂的数学任务中进行逐步推理。此外，数据集的规模庞大，总样本数超过26000个，且分为AMATH-SFT和AMATH-PRM两个子集，分别用于不同的训练目的。这种精细的划分和高质量的注释使得AtomMATH在多模态数学推理任务中表现出色，显著提升了模型的推理精度和效率。

使用方法

使用AtomMATH数据集时，用户可以根据具体需求选择AMATH-SFT或AMATH-PRM子集进行训练。AMATH-SFT适用于指令微调，旨在提升模型的基本推理能力；而AMATH-PRM则用于策略奖励模型的训练，通过监督语言处理过程，进一步优化模型的推理策略。用户可以通过访问数据集的GitHub页面获取详细的使用指南和代码示例，确保数据集的有效利用。此外，数据集的结构化设计和高质量注释使得其在多种多模态数学推理任务中具有广泛的应用前景，为研究者和开发者提供了强大的工具支持。

背景与挑战

背景概述

AtomMATH数据集是由Kun Xiang等研究人员于2024年创建，旨在解决多模态数学推理任务中的复杂问题。该数据集的核心研究问题是如何通过引入“慢思考”框架，即长链思维（CoT），来提升多模态大语言模型（MLLMs）在数学任务中的表现。AtomMATH不仅为多模态数学推理提供了大规模的数据支持，还通过其独特的CoT注释引擎和原子步骤微调策略，显著提高了模型的推理能力。该数据集的发布对多模态数学推理领域具有重要影响，为后续研究提供了坚实的基础。

当前挑战

AtomMATH数据集在构建过程中面临多项挑战。首先，多模态数学推理任务本身具有高度复杂性，需要模型具备强大的跨模态理解和推理能力。其次，数据集的构建涉及大量高质量的CoT注释生成，这一过程需要精确且耗时。此外，原子步骤微调策略的实施也面临技术难题，如何有效优化MLLM和策略奖励模型（PRM）以实现逐步推理，是一个亟待解决的问题。最后，数据集的规模和多样性要求高，确保覆盖广泛的数学问题类型，以提升模型的泛化能力。

常用场景

经典使用场景

在多模态数学任务领域，AtomMATH数据集的经典使用场景主要体现在其对复杂数学问题的逐步推理能力。通过结合视觉和文本数据，该数据集支持模型进行详细的链式思考（CoT），从而在处理几何、代数等复杂数学问题时展现出卓越的性能。例如，在解决几何问题时，模型能够通过逐步推理，从基本的几何概念出发，逐步推导出最终答案，这一过程类似于人类的慢思考模式，显著提升了推理的准确性和可靠性。

解决学术问题

AtomMATH数据集在学术研究中解决了多模态数学推理中的关键问题，特别是在缺乏高质量视觉数学数据的情况下。通过引入链式思考（CoT）和原子步骤微调策略，该数据集不仅填补了这一领域的数据空白，还显著提升了多模态大语言模型（MLLMs）的推理能力。其提出的原子能力评估指标，为数学任务的质量评估提供了新的标准，推动了相关领域的研究进展。

衍生相关工作

AtomMATH数据集的发布催生了多项相关研究工作，特别是在多模态数学推理和链式思考（CoT）领域。例如，基于该数据集的研究成果，学者们开发了多种新的推理算法和模型，进一步提升了多模态数学任务的解决能力。此外，该数据集还激发了对慢思考框架的深入研究，推动了多模态大语言模型（MLLMs）在复杂任务中的应用和发展。