遇见数据集

Starscream-11813/ParaMAWPS

收藏
Hugging Face2024-07-17 更新2024-07-22 收录
官方服务:

资源简介:

ParaMAWPS数据集是一个用于解决数学文字问题(MWP)的数据集,通过生成问题陈述的语言变体来增强模型的数学推理能力。数据集包含训练、验证和测试集,数据格式为JSON,每行包含一个数学文字问题及其相关信息。数据集中的每个样本都有一个唯一的ID,原始问题文本、方程、数量标记文本、数量标记方程以及是否需要常量的标签。

The ParaMAWPS dataset is designed for solving math word problems by generating linguistic variants of problem statements. It includes paraphrased, adversarial, and inverse variants of selectively sampled math word problems from the benchmark Mawps dataset, aiming to enhance the mathematical reasoning and robustness of models. Each sample contains a math word problem along with its associated equation, quantity-tagged text and equation, and information on whether a constant value is required.

提供机构:
Starscream-11813
原始信息汇总

数据集概述

基本信息

  • 数据集名称: ParaMAWPS
  • 许可证: Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International
  • 任务类别:
    • 文本生成
    • 问答
    • 文本分类
    • 零样本分类
  • 语言: 英语
  • 标签:
    • Math Word Problems
    • Dataset
    • Challenge Set
    • Mathematical Reasoning
  • 数据集大小: 10K<n<100K

数据集描述

ParaMAWPS 数据集包含数学应用题(Math Word Problems, MWP)的多种语言变体。数据集的分割比例为 80:10:10(训练集:验证集:测试集),并以 .json 格式提供。

数据格式

每行数据包含一个数学应用题,各列的含义如下:

列标题 描述
id 样本的唯一标识号。种子问题的 id 大小为 ≤ 4,变体问题的 id 大小为 > 4。最后一个变体问题的 id 通常为 "16000i",其中 i 是种子问题的 id。
original_text 数学应用题的问题陈述。种子问题的问题陈述与 Mᴀᴡᴘs 数据集中的相同。
equation 解决数学应用题的方程,包含变量 x。
quantity_tagged_text 数学应用题的问题陈述,其中每个数量被替换为唯一的标签 [Q_i]。
quantity_tagged_equation 解决数学应用题的方程,包含变量 x,但每个数量在问题陈述中被替换为其唯一标签 [Q_i]。
have_constant 是否需要常数值来解决数学应用题。对于样本 i,布尔标签为:<br>
$$C_i =egin{cases} ext{FALSE}, & ext{如果 i 需要 0 个常数值}\ ext{TRUE}, & ext{如果 i 需要 ≥ 1 个常数值}end{cases}$$

引用

如果使用此数据集,请引用以下论文: bib @inproceedings{raiyan-etal-2023-math, title = "Math Word Problem Solving by Generating Linguistic Variants of Problem Statements", author = "Raiyan, Syed Rifat and Faiyaz, Md Nafis and Kabir, Shah Md. Jawad and Kabir, Mohsinul and Mahmud, Hasan and Hasan, Md Kamrul", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-srw.49", doi = "10.18653/v1/2023.acl-srw.49", pages = "362--378", }

搜集汇总
数据集介绍
Starscream-11813/ParaMAWPS 数据集图片
构建方式
ParaMAWPS数据集源自经典的MAWPS基准,通过生成数学应用题的语言学变体来构建。研究者从MAWPS中精心挑选样本,并为其生成释义、对抗性及逆序变体,从而形成多样化的题目表述。数据集采用80:10:10的比例划分为训练集、验证集和测试集,每条样本均包含唯一标识符、原始问题文本、求解方程、数量标记文本及方程,并标注了是否需要常数参与求解。这种构建方式旨在削弱模型对表面线索的依赖,增强其数学推理的鲁棒性。
使用方法
使用ParaMAWPS时,研究者可直接加载JSON格式的划分文件进行模型训练与评估。建议采用投票策略:对同一原始问题的多个变体分别求解,以多数表达式作为最终预测,从而提升推理稳定性。数据集兼容文本生成、问答及分类等任务范式,尤其适合评估编码器-解码器架构(如DeBERTa)在数学推理上的表现。此外,数量标记字段可用于训练符号对齐模型,而常数标注则支持条件推理实验。
背景与挑战
背景概述
数学推理作为人工智能迈向通用智能的核心基石,长期以来受到学界广泛关注。在此背景下,Syed Rifat Raiyan等来自Islamic University of Technology的研究人员于2023年提出了ParaMAWPS数据集,旨在解决数学文字题求解中模型过度依赖浅层启发式与虚假相关性的顽疾。该数据集发表于ACL 2023学生研究研讨会上,通过从基准MAWPS数据集中精选样本,构建了包含释义、对抗及逆向变体的挑战性语料库,共计约11813条样本。其核心研究问题在于探究生成问题语句的语言变体能否增强求解器的数学推理鲁棒性,这一创新视角为自然语言处理与数学推理的交叉领域注入了新的活力,对推动可解释且可靠的AI数学能力发展具有重要学术价值。
当前挑战
ParaMAWPS数据集所面临的挑战具有双重维度。在领域问题层面,数学文字题求解本身即面临模型易受表面词汇模式干扰而偏离真实逻辑推理的困境,现有模型常无法区分语义等价但表述相异的题目,导致泛化能力薄弱。在构建过程中,研究人员需精心设计变体生成策略——既要确保释义保留原始数学关系,又要引入足以暴露模型脆弱性的对抗性扰动,同时维持逆变体在逻辑上的对称性。此外,对每个种子问题生成多个变体后,如何通过投票机制有效整合候选表达式以提升决策可靠性,亦是算法设计中的关键难点,这要求模型在多样性表达中捕捉恒定不变的数学本质。
常用场景
经典使用场景
ParaMAWPS数据集的核心用途在于评估和提升数学应用题求解模型对语言变体的鲁棒性。该数据集通过为MAWPS基准中的问题生成释义、对抗性及逆变换等语言变体,构建了一个极具挑战性的测试平台。研究者通常利用其训练集来增强模型对同一数学问题不同表述方式的泛化能力,并借助验证集与测试集来检验模型在应对句法重构、词汇替换乃至语义反转时的推理稳定性。这一设计使得ParaMAWPS成为衡量数学推理系统在语言多样性面前表现优劣的标杆性资源。
解决学术问题
该数据集直面数学应用题求解中一个长期被忽视的学术难题:现有模型往往依赖浅层启发式线索或虚假相关性来推导解答,而非真正理解问题背后的数学逻辑。ParaMAWPS通过引入语言变体,迫使模型摆脱对特定句式或关键词的过度依赖,从而推动研究焦点转向更本质的数学推理能力。其意义在于揭示了训练数据中语言多样性不足所导致的泛化缺陷,并为后续研究提供了量化评估模型鲁棒性的标准基准,深刻影响了数学自然语言处理领域对模型脆弱性的认知与改进方向。
实际应用
在实际应用中,ParaMAWPS可被部署于智能教育辅导系统,用于自动生成同一数学问题的多种表述形式,以训练学生从不同角度理解数量关系。其变体生成机制也能嵌入自适应学习平台,通过检测学生对语言变体的解答一致性来诊断其数学推理的薄弱环节。此外,该数据集所蕴含的鲁棒性训练策略可迁移至金融文本分析、科学计算等需要从自然语言中提取数值逻辑的垂直领域,提升AI系统在复杂语言环境下的数学推理可信度。
数据集最近研究
最新研究方向
在数学推理与自然语言处理的交叉领域,ParaMAWPS数据集的出现标志着对数学应用题求解器鲁棒性研究的深化。该数据集通过生成问题语句的释义、对抗性和逆序变体,旨在暴露现有模型对浅层启发式与虚假相关性的过度依赖。前沿研究聚焦于利用语言变体训练策略,结合DeBERTa等编码器的解耦注意力机制,通过多数投票融合多变异预测结果,从而提升模型在复杂语义扰动下的泛化能力。这一方向与当前大语言模型在符号推理中的脆弱性热点紧密相关,其意义在于推动数学推理AI从机械的模式匹配向真正的语义理解迈进,为构建更可靠的通用人工智能提供了关键评估基准与方法论支撑。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务