agicorp/MetaMath_DPO_FewShot

MetaMath_DPO_FewShot数据集是基于GSM8K数据集的一个扩展，通过数据增强构建而成。数据集被划分为查询和响应，其中查询涉及数学计算或推理问题，响应则是一系列逻辑步骤和计算，最终得出答案。为了构建配对偏好版本的数据集，作者将查询作为提示x，将响应作为首选完成y_w，并通过随机修改中间计算结果中的一个来创建y_l，以保持答案不变。构建此数据集的动机是使模型在中间计算中更加精确。数据集包含393,999个训练示例和1,000个评估示例，用于使用DPOP损失函数微调已经经过SFT的LLMs。

原始信息汇总

数据集概述

数据集名称

• MetaMath_DPO_FewShot

数据集内容

• 该数据集是GSM8K训练集的扩展，通过数据增强生成。数据集分为查询和响应两部分，其中查询涉及数学计算或推理问题，响应则是逻辑步骤和计算，最终得出答案。

数据集结构

• 特征：
  • prompt：字符串类型，查询问题。
  • chosen：字符串类型，正确的响应。
  • rejected：字符串类型，错误的响应，通过随机修改中间计算结果生成。

数据集划分

• 训练集：
  • 示例数量：393,999
  • 数据大小：1,211,199,708字节
• 评估集：
  • 示例数量：1,000
  • 数据大小：30,296,240字节

数据集大小

• 下载大小：561,354,683字节
• 数据集总大小：1,214,229,332字节

数据集用途

• 用于微调大型语言模型（LLMs），特别是已经完成SFT（Supervised Fine-Tuning）的模型，使用DPOP损失函数。

数据集相关模型

• 该数据集用于创建Smaug系列模型。

数据集详细信息

• 更多详细信息可参考datasheet和相关论文：https://arxiv.org/abs/2402.13228。