MU-NLPC/Calc-mawps

Calc-MAWPS数据集是一个专注于算术运算的简单数学文字问题集合。该数据集的特点包括`chain`列，该列通过将解决方案转换为简单的HTML类语言来创建，便于解析。数据集支持的任务是训练能够使用外部工具（如计算器）来增强其响应事实性的链式思维推理模型。数据集提供了两种变体：一种是原始分割，另一种是经过过滤以防止数据泄露的版本。数据集的属性包括id、question、chain、result、result_float、equation和expression。数据集是Calc-X集合的一部分，旨在训练能够使用计算器的模型（Calcformers）。

The Calc-MAWPS dataset is a collection of simple arithmetic math word problems focused on arithmetic operations. A key feature of this dataset is the `chain` column, which is constructed by converting solution steps into a simple HTML-like language to simplify parsing. The tasks supported by this dataset are designed for training chain-of-thought reasoning models that leverage external tools such as calculators to improve the factual validity of their generated responses. The dataset provides two variants: one is the original data split, and the other is a filtered version developed to prevent data leakage. The dataset’s columns include id, question, `chain`, result, result_float, equation, and expression. As part of the Calc-X collection, this dataset aims to train calculator-augmented models known as Calcformers.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 数据规模: 1K<n<10K
• 任务类别: 文本生成
• 标签: 数学世界问题, 数学, 算术

数据集配置

默认配置

• 配置名称: default
• 特征:
  • id: 字符串
  • question: 字符串
  • chain: 字符串
  • result: 字符串
  • result_float: float64
  • equation: 字符串
  • expression: 字符串
• 分割:
  • 训练集: 298347 字节, 1089 个样本
  • 验证集: 285321 字节, 1040 个样本
  • 测试集: 142648 字节, 520 个样本
• 下载大小: 0 字节
• 数据集大小: 726316 字节

原始分割配置

• 配置名称: original-splits
• 特征:
  • id: 字符串
  • question: 字符串
  • chain: 字符串
  • result: 字符串
  • result_float: float64
  • equation: 字符串
  • expression: 字符串
• 分割:
  • 训练集: 1000546 字节, 3636 个样本
  • 测试集: 142648 字节, 520 个样本
  • 验证集: 285321 字节, 1040 个样本
• 下载大小: 128730 字节
• 数据集大小: 1428515 字节

数据文件配置

默认配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*

原始分割配置

• 配置名称: original-splits
• 数据文件:
  • 训练集: original-splits/train-*
  • 测试集: original-splits/test-*
  • 验证集: original-splits/validation-*

搜集汇总

数据集介绍

构建方式

在算术推理领域，Calc-MAWPS数据集通过精心设计的转换流程构建而成。该数据集源自阿拉伯语数学应用题数据集MaWPS-ar，核心创新在于引入链式推理标注。构建过程中，原始算术表达式被转化为类HTML标记语言，形成结构化的推理链条。这一链条包含三种关键标签：gadget代表需外部工具计算的步骤，output记录工具输出，result呈现最终答案。通过符号化转换，数据集将自然语言问题映射为可解析的计算序列，为模型提供了清晰的推理路径。

特点

Calc-MAWPS数据集展现出多维度特征，其核心在于融合符号计算与自然语言推理。数据集包含两种划分方式：原始划分保留了完整的3636个训练样本，而过滤版本则移除了约2500个与测试集高度相似的样本，有效防止数据泄露。每个样本配备七类属性，其中链式推理标注采用轻量级标记语言，便于解析器提取计算步骤。数据集专注于基础算术运算，问题表述简洁明确，同时提供阿拉伯语与英语双语描述，为跨语言推理研究提供了可能。

使用方法

该数据集主要服务于增强语言模型算术推理能力的研究。使用者可通过HuggingFace数据集库直接加载，选择原始划分或过滤版本以适应不同实验需求。在模型训练中，链式标注可作为监督信号，引导模型学习调用符号计算工具的分步推理策略。评估时，研究者可对比模型生成的推理链条与标注链条的吻合度，或验证最终数值答案的准确性。数据集与Calc-X系列工具兼容，支持构建能够交互使用计算器的端到端推理系统。

背景与挑战

背景概述

算术数学应用题求解是自然语言处理与人工智能交叉领域的重要研究方向，旨在使机器能够理解并解决以自然语言描述的数学问题。Calc-mawps数据集由MU-NLPC团队于2023年构建，作为Calc-X项目的一部分，其核心研究问题聚焦于增强语言模型在算术推理中的准确性与可靠性。该数据集源自经典的MAWPS（Math Word Problem Solving）数据集，通过引入链式思维标注，为训练能够调用外部计算工具（如符号计算器）的推理模型提供了结构化数据支持。这一创新推动了算术链式思维模型的发展，对提升模型在数学问题求解中的事实性与可解释性具有显著影响力。

当前挑战

在算术数学应用题求解领域，核心挑战在于模型需准确解析自然语言中隐含的数学逻辑与运算顺序，并生成无误的计算步骤。Calc-mawps数据集针对此挑战，旨在通过链式思维标注促进模型与符号计算系统的交互，以提升算术推理的精确度。在数据集构建过程中，研究人员面临数据去重与防泄露的难题，需从原始数据中剔除与测试集高度相似的近重复样本，确保评估的公正性。此外，将数学表达式转换为可解析的链式标注格式，要求保持语义一致性并适配外部工具调用，这一过程涉及复杂的语义对齐与结构化表示挑战。

常用场景

经典使用场景

在算术文字问题求解领域，Calc-mawps数据集为训练链式思维推理模型提供了经典范例。该数据集通过将数学问题转化为包含外部工具调用的结构化链式步骤，使模型能够学习在推理过程中将计算任务委托给符号计算系统。这种设计模拟了人类解决复杂算术问题时的分步思考过程，为模型提供了清晰的中间推理轨迹，从而提升了求解的准确性和可解释性。

解决学术问题

该数据集有效应对了自然语言处理中算术推理的可靠性挑战。传统模型在直接生成数值答案时容易产生事实性错误，而Calc-mawps通过引入工具调用机制，将逻辑推理与精确计算分离，解决了神经网络不擅长精确算术运算的固有局限。其意义在于推动了神经符号人工智能的发展，为构建能够可靠使用外部工具的认知系统奠定了数据基础，影响了可信人工智能的研究方向。

衍生相关工作

围绕Calc-mawps数据集衍生的经典工作包括Calc-X项目系列，该项目系统性地构建了用于训练计算器增强型模型的数据集集合。在此基础上发展的Calcformers模型家族，实现了神经网络与符号计算器的协同推理。这些工作深化了对于混合人工智能架构的理解，后续研究进一步探索了模型在更复杂数学领域及多模态场景下的工具使用能力，形成了持续发展的技术生态。