SVAMP (Simple Variations on Arithmetic Math word Problems)

初等数学单词问题 (MWP) 的挑战集。 MWP 由一个简短的自然语言叙述组成，它描述了世界的一种状态，并提出了一个关于一些未知量的问题。 SVAMP 中的示例在解决 MWP 的不同方面测试模型：1) 模型问题是否敏感？ 2）模型是否具有鲁棒的推理能力？ 3）结构变化是否不变？

A challenge dataset for elementary mathematics word problems (MWP). A mathematics word problem (MWP) consists of a short natural language narrative that describes a state of the world and poses a question concerning one or more unknown quantities. The examples in SVAMP evaluate models across three critical aspects of MWP solving: 1) whether the model demonstrates question sensitivity; 2) whether the model possesses robust reasoning capabilities; 3) whether the model remains invariant to structural changes.

搜集汇总

背景与挑战

背景概述

SVAMP是一个用于评估语言模型解决简单数学应用题能力的挑战集，测试模型在问题敏感性、推理鲁棒性和结构变化不变性方面的表现。它包含mawps、asdiv-a和svamp三个子数据集，规模分别为1921、1217和1000个样本，由微软印度研究院于2021年发布。