CompositionalGSM_augmented

Compositional GSM_augmented是一个数学指令数据集，灵感来源于论文《Not All LLM Reasoners Are Created Equal》。它基于nvidia/OpenMathInstruct-2数据集，并使用meta-llama/Meta-Llama-3.1-70B-Instruct模型生成。数据集中的每个问题由两个子问题组成，第一个问题的答案作为第二个问题中的变量X。数据集包含两个特征：new_question和new_answer，分别表示新的问题和答案。数据集分为训练集，包含11915个样本。数据集的生成方法包括问题合成和答案合成，确保新问题的复杂性和答案的正确性。

Compositional GSM_augmented is a mathematical instruction dataset inspired by the paper *Not All LLM Reasoners Are Created Equal*. It is built upon the nvidia/OpenMathInstruct-2 dataset and generated using the meta-llama/Meta-Llama-3.1-70B-Instruct model. Each instance in the dataset consists of two sub-questions, where the answer to the first sub-question serves as the variable X in the second one. The dataset contains two features: `new_question` and `new_answer`, which represent the newly generated question and its corresponding answer respectively. The dataset is split into a training set with 11,915 samples. The dataset generation approach includes question synthesis and answer synthesis, which ensures the complexity of the new questions and the correctness of the answers.

原始信息汇总

Compositional GSM_augmented 数据集概述

基本信息

• 语言: 英语
• 许可证: CC-BY-4.0
• 任务类别: 问答、文本生成
• 标签: 数学

数据集结构

• 特征:
  • new_question: 字符串类型
  • new_answer: 字符串类型
• 分割:
  • train: 包含11915个样本，大小为21256871.72376337字节

数据生成

• 基础数据集: 基于nvidia/OpenMathInstruct-2
• 生成模型: 使用meta-llama/Meta-Llama-3.1-70B-Instruct模型生成

数据集描述

• 问题结构: 每个问题包含两个子问题（Q1和Q2），Q1的答案作为Q2中的变量X。
• 生成方法: 通过将两个数学问题合并为一个新问题，Q1的答案用于Q2的求解。

示例

有效示例

问题

Q1: Ava is three times Ethans age. Julian is 5 years older than Ava. If Ethan is 9, how many years old is Julian? Q2: Tom visited a seafood market and ordered X pounds of salmon fillets that cost $12.00 per pound. He also purchased 2 pounds of shrimp that were priced at $10.00 per pound. How much did Tom spend at the seafood market?

答案

Ava is 27 years old, Julian is 32 years old. Tom spent $404 at the seafood market.

无效示例

问题

Q1: Dr. Lee is working on two medical research projects. The first project has a 40% chance of securing a grant of $3,000,000 if successful and $0 if unsuccessful. The second project has a 60% chance of receiving $750,000 if the project is rejected and a 40% chance of receiving $1,500,000 if the project is accepted. Expressed as a percentage, how much more likely is it that Dr. Lees projects are both rejected compared to both being accepted? Q2: In a city, X people reside. 3,200 males live in that city and the rest of the population are females. Forty-five percent of the female population has long hair. How many females have long hair?

答案

Dr. Lees projects are 20% more likely to be both rejected compared to both being accepted. The number of females with long hair is not a meaningful result in this case.

引用

bibtex @article{toshniwal2024openmath2, title = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data}, author = {Shubham Toshniwal and Wei Du and Ivan Moshkov and Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman}, year = {2024}, journal = {arXiv preprint arXiv:2410.01560} }

@article{hosseini2024compositionalGSM, title = {Not All LLM Reasoners Are Created Equal}, author = {Arian Hosseini and Alessandro Sordoni and Daniel Toyama and Aaron Courville and Rishabh Agarwal}, year = {2024}, journal = {arXiv preprint arXiv:2410.01748} }

搜集汇总

数据集介绍

构建方式

Compositional GSM_augmented数据集的构建基于nvidia/OpenMathInstruct-2数据集，并利用meta-llama/Meta-Llama-3.1-70B-Instruct模型进行生成。该数据集通过将两个数学问题组合成一个新问题，其中第一个问题的答案作为第二个问题的变量，从而形成更具复杂性的数学指令任务。生成过程中，模型遵循特定的提示模板，确保新问题的结构符合要求，并尽可能保持数值替换的相对误差在25%以内。

使用方法

Compositional GSM_augmented数据集主要用于训练和评估数学推理模型。用户可以通过加载数据集，直接将其作为训练数据输入模型，以提升模型在复杂数学问题上的推理能力。此外，数据集的组合性问题设计也可用于测试模型的多步推理和变量替换能力。使用过程中，建议对数据集进行初步筛选，以确保训练数据的质量，并结合模型的输出进行验证和调整。

背景与挑战

背景概述

Compositional GSM_augmented数据集于2024年由Hyperbloic AI团队创建，旨在解决数学推理任务中的组合性问题。该数据集基于nvidia/OpenMathInstruct-2数据集，并利用meta-llama/Meta-Llama-3.1-70B-Instruct模型生成。其核心研究问题在于如何通过组合两个数学问题，使得第一个问题的答案成为第二个问题的变量，从而提升模型在复杂数学推理任务中的表现。该数据集的创建灵感来源于《Not All LLM Reasoners Are Created Equal》一文，旨在推动大语言模型在数学推理领域的发展。

当前挑战

Compositional GSM_augmented数据集在构建过程中面临多重挑战。首先，如何确保组合问题的逻辑一致性是一个关键问题，特别是在将第一个问题的答案作为第二个问题的变量时，需避免语义上的冲突。其次，数据生成过程中，尽管使用了高性能的Llama-3.1-70B-Instruct模型，但仍可能存在错误答案，这要求后续的过滤和验证工作。此外，如何在不显著改变最终答案的前提下，调整第二个问题的数值以匹配第一个问题的答案，也是一个技术难点。这些挑战不仅影响数据集的质量，也对模型训练的效果提出了更高的要求。

常用场景

经典使用场景

CompositionalGSM_augmented数据集在数学推理任务中展现了其独特的价值，尤其是在组合式问题求解领域。该数据集通过将两个独立的数学问题结合，生成一个更为复杂的组合问题，其中第一个问题的答案作为第二个问题的变量。这种设计使得模型在处理多步推理任务时，能够更好地理解问题之间的逻辑关系，从而提升其推理能力。

解决学术问题

该数据集有效解决了数学推理模型在处理组合式问题时的挑战。通过提供大量组合式问题及其解答，CompositionalGSM_augmented为研究者提供了一个丰富的训练资源，帮助模型学习如何在多步推理中保持逻辑一致性。这不仅提升了模型在复杂数学问题上的表现，还为数学推理领域的研究提供了新的方向。

实际应用

在实际应用中，CompositionalGSM_augmented数据集可用于开发智能教育系统，帮助学生逐步理解复杂的数学问题。此外，该数据集还可用于训练智能助手，使其能够处理涉及多步推理的日常问题，如财务计算、资源分配等。通过提升模型的组合式推理能力，该数据集在教育、金融等领域具有广泛的应用前景。

数据集最近研究

最新研究方向

在数学推理领域，Compositional GSM_augmented数据集的推出标志着复杂问题生成与解答的新进展。该数据集通过将两个数学问题结合，形成更具挑战性的复合问题，推动了大型语言模型在数学推理任务中的性能提升。当前研究热点集中在如何利用此类数据集优化模型的推理能力，特别是在多步推理和变量替换的准确性方面。此外，该数据集的应用还促进了开源模型如Llama-3-70B-Instruct在数学任务中的表现评估与改进，为未来数学教育工具的开发提供了重要参考。