shuyuej/gsm8k_testing_chatgpt_generated

该数据集包含通过GPT-3.5-turbo生成的`paraphrased questions`（重新表述的问题）。这些问题的重新表述过程遵循了特定的提示模板，并提供了多个示例来说明如何重新表述问题。数据集可以通过HuggingFace的`datasets`库加载，主要用于测试和评估语言模型在重新表述问题任务上的表现。

原始信息汇总

数据集构建

• 生成方式：通过gpt-3.5-turbo生成paraphrased questions。

提示模板

你是一个AI助手，帮助我重新表述问题。 遵循给定的示例。

问题：Angelo和Melanie想计划下周一起学习多少小时，以便为下周的考试做准备。他们有两章教材和四张工作表需要记忆。他们认为每章教材应投入3小时，每张工作表应投入1.5小时。如果他们每天计划学习不超过4小时，每小时休息10分钟，每天包括3次10分钟的零食休息和30分钟的午餐时间，他们应该计划在下周总共学习多少天？ 重新表述上述问题：Angelo和Melanie需要为即将到来的考试学习教材的两章和四张工作表。他们计划每章投入3小时，每张工作表投入1.5小时。他们每天最多学习4小时，考虑到每小时的10分钟休息，每天3次10分钟的零食休息和30分钟的午餐。他们需要计划在下周总共学习多少天才能完成学习计划？

问题：Leah有32块巧克力，她的妹妹有42块。如果她们吃了35块，她们还剩多少块？ 重新表述上述问题：如果Leah有32块巧克力和她的妹妹有42块，她们一共吃了35块巧克力，她们还剩多少块巧克力？

问题：Olivia有23美元。她买了五个每个3美元的面包圈。她还剩多少钱？ 重新表述上述问题：Olivia买了五个每个3美元的面包圈后，她还剩多少钱，如果她最初有23美元？

问题：服务器室里有九台电脑。从周一到周四，每天安装五台电脑。现在服务器室里有多少台电脑？ 重新表述上述问题：如果服务器室里最初有九台电脑，从周一到周四每天增加五台电脑，现在服务器室里总共有多少台电脑？

问题：Michael有58个高尔夫球。周二，他丢了23个高尔夫球。周三，他又丢了2个。到周三结束时，他还剩多少个高尔夫球？ 重新表述上述问题：Michael在周二丢了23个高尔夫球，周三又丢了2个，如果他最初有58个高尔夫球，到周三结束时他还剩多少个高尔夫球？

问题：Jason有20个棒棒糖。他给了Denny一些棒棒糖。现在Jason有12个棒棒糖。Jason给了Denny多少个棒棒糖？ 重新表述上述问题：如果Jason最初有20个棒棒糖，现在有12个，他给了Denny多少个棒棒糖？

问题：Sam买了12盒，每盒有30支荧光笔，每盒10美元。他将其中五盒重新包装成每包6支荧光笔，并以每包3美元的价格出售。他将剩余的荧光笔以每3支2美元的价格单独出售。他总共赚了多少美元？ 重新表述上述问题：Sam以每盒10美元的价格购买了12盒，每盒30支荧光笔。他将五盒重新包装成每包6支荧光笔并以每包3美元的价格出售。他将剩余的荧光笔以每3支2美元的价格单独出售。他总共赚了多少美元？

问题：果园里有15棵树。果园工人今天将在果园里种植树。完成后，将有21棵树。果园工人今天种了多少棵树？ 重新表述上述问题：如果果园里最初有15棵树，果园工人计划今天种植更多的树，最终将有21棵树，果园工人今天种了多少棵树？

问题：{e[question]} 重新表述上述问题：

数据集使用

python from datasets import load_dataset

加载数据集

dataset = load_dataset("shuyuej/gsm8k_testing_chatgpt_generated") dataset = dataset["test"]

print(dataset)

搜集汇总

数据集介绍

构建方式

在数学推理与自然语言处理交叉领域，高质量问题改写数据集的构建对提升模型泛化能力至关重要。本数据集基于经典GSM8K数学应用题集，采用gpt-3.5-turbo模型对原始问题进行语义改写，以生成多样化表述。构建过程遵循精心设计的提示模板，该模板包含多个示例对，展示如何在不改变数学逻辑与核心数值关系的前提下，通过调整句式结构、替换同义表达等方式实现问题重述。最终生成的问题保留了原题的数学复杂度与解题步骤，但呈现了更为丰富的语言变体形式。

特点

该数据集最显著的特点在于其与原始GSM8K测试集的高度语义等价性，但具备更灵活的语言表达多样性。通过大型语言模型的生成能力，每个数学问题都获得了多个在句法结构、词汇选择上存在差异的改写版本，这为评估模型对语义不变性的理解提供了理想测试床。数据集严格遵循Apache 2.0开源协议，便于学术研究与商业应用。此外，其构建过程完全自动化，具有良好的可扩展性与可复现性，为后续研究提供了可靠的基准资源。

使用方法

使用该数据集极为便捷，研究者可通过HuggingFace Datasets库以一行代码完成加载。具体调用load_dataset('shuyuej/gsm8k_testing_chatgpt_generated')即可获取数据，默认返回测试集划分。加载后的数据可直接用于评估大型语言模型在数学推理任务上的鲁棒性，特别适用于检验模型面对问题表述变化时的表现稳定性。数据集支持直接迭代访问样本，每个样本包含原始问题与改写版本，便于进行对比分析或多视角评估实验。

背景与挑战

背景概述

在自然语言处理与数学推理的交汇领域，GSM8K数据集作为评估语言模型算术推理能力的基准，其重要性不言而喻。由研究者Shuyue Jia于2023年创建的shuyuej/gsm8k_testing_chatgpt_generated数据集，依托GPT-3.5-turbo模型对原始GSM8K问题进行了语义改写，旨在探索大规模语言模型在复杂数学问题表述多样性下的鲁棒性。该数据集不仅为PromptCraft工具包提供了测试基础，更推动了关于语言模型泛化能力与语义理解深度的研究，尤其在教育智能与自动化推理系统中具有广泛的应用前景。其贡献在于揭示了模型面对同质数学问题不同表述时的表现差异，为后续的模型优化与评估提供了关键资源。

当前挑战

该数据集所面临的挑战首先体现在领域核心问题上：GSM8K原本用于评估模型的多步数学推理能力，而改写后的问题在保持数学逻辑一致性的同时，引入了语言表述的变异性，这要求模型不仅要处理数值计算，还需理解语义等价关系。然而，当前语言模型在面对此类语义扰动时，常因表面词汇差异导致推理失误，揭示了模型在深层语义理解与数学抽象能力上的局限性。此外，数据集构建过程中也遇到挑战：利用GPT-3.5-turbo自动生成改写问题，虽高效但难以保证所有改写结果均保留原问题的数学约束与逻辑结构，部分改写可能引入歧义或隐含错误，影响了数据集的质量与可靠性，进而对后续实验的结论有效性构成潜在威胁。

常用场景

经典使用场景

在数学推理与自然语言处理交叉领域，shuyuej/gsm8k_testing_chatgpt_generated数据集主要被用于评估和提升大语言模型在算术应用题上的泛化能力。其核心价值在于通过gpt-3.5-turbo生成的多样化改写问题，为模型提供语义等价但表达形式不同的训练样本，从而检验模型对数学逻辑的深层理解而非机械记忆。研究者常将其作为基准测试集，衡量模型在应对复杂文本变体时的鲁棒性，尤其关注模型能否在问题表述变化后仍准确提取数值关系与运算步骤。

实际应用

在实际应用层面，该数据集可服务于教育科技领域中的智能辅导系统开发。例如，在自动生成数学练习题或评估学生解题能力时，系统需具备理解同一问题多种表述方式的能力。基于该数据集训练的模型能够更灵活地处理学生用自然语言提出的个性化数学疑问，从而提供精准的步骤解析与纠错反馈。此外，在智能客服、金融计算等需要解析上下文并执行多步算术的工业场景中，该数据集有助于提升语言模型对数值信息的处理稳定性。

衍生相关工作

该数据集衍生了一系列关于大语言模型自一致性（self-consistency）与语义鲁棒性的研究。例如，基于其释义问题特性，学者们开发了多种对抗性测试方法，通过扰动输入文本的句法结构来评估模型推理的可靠性。同时，该数据集也被用作PromptCraft工具包的测试基准，推动了对提示工程中问题重述策略的系统性探索。此外，相关工作扩展了语义文本相似度（STS）在数学推理领域的应用，通过度量原始问题与释义问题的语义距离，优化模型对复杂逻辑结构的表征学习。