August4293/gsm8k_preference_dataset_it_2

该数据集是从GSM8K训练集问题中衍生出来的，经过一系列步骤创建，包括初始提示、过滤不正确的答案、模型根据不正确的答案进行答案细化，以及最终过滤以确保只包含正确的答案。数据集包含三个列：原始数学问题的提示、模型的第一个（不正确）响应和模型的细化（正确）响应。该数据集用于微调Mistral模型，以提高其解决算术问题的能力。

This dataset is derived from the GSM8K training set questions. The process to create this dataset involved the following steps: initial prompting, filtering incorrect answers, refining answers based on incorrect responses, and final filtering to ensure only correct answers were included. The dataset contains three columns: prompt (the original math question), rejected (the first incorrect response from the model), and chosen (the refined correct response from the model). This dataset was used to fine-tune the Mistral model to enhance its arithmetic problem-solving capabilities.

原始信息汇总

GSM8K Iteration 2 数据集概述

数据集来源

• 该数据集源自GSM8K训练集的问题。

数据集创建过程

1. 初始提示：GSM8K训练集中的每个问题首先由Fine-Tuned Mistral模型回答。
2. 过滤错误答案：过滤掉错误的回答。
3. 答案优化：模型根据错误回答进行答案优化。
4. 最终过滤：再次过滤优化后的回答，确保只包含正确答案。

数据集结构

• prompt：GSM8K训练集中的原始数学问题。
• rejected：模型最初（错误）的回答。
• chosen：模型优化后的（正确）回答。

数据集用途

• 该数据集用于微调Mistral模型，旨在提升其解决算术问题的能力。