abacusai/ARC_DPO_FewShot

ARC_DPOP_FewShot数据集是基于ARC数据集的Challenge子集创建的，用于测试大约小学水平的科学理解能力。该数据集通过从ARC-Challenge的训练分割中创建了一个配对偏好排序的数据集，用于微调已经经过SFT的LLMs，使用DPOP损失函数。数据集包含3357个训练示例和895个评估示例。该数据集用于创建Smaug系列模型。

原始信息汇总

数据集卡片 for "ARC_DPOP_FewShot"

数据集描述

ARC数据集测试大约小学水平的科学理解能力。我们专注于ARC的Challenge子部分，这是两个子部分中较难的一个，已被广泛采用作为LLM推理和世界理解的衡量标准。我们从ARC-Challenge的训练分割中创建了一个配对偏好排序数据集。

数据集结构

特征

• prompt: 字符串类型，表示问题。
• chosen: 字符串类型，表示正确答案。
• rejected: 字符串类型，表示错误答案。

分割

• train: 包含3357个样本，总字节数为5112954。
• eval: 包含895个样本，总字节数为1446464。

文件配置

• default:
  • 训练数据文件路径: data/train-*
  • 评估数据文件路径: data/eval-*

数据集大小

• 下载大小: 1139410字节
• 数据集大小: 6559418字节

使用目的

该数据集旨在用于使用DPOP损失函数对已经进行过SFT的LLM进行微调。我们使用此数据集创建了Smaug系列模型。有关更多详细信息，请参阅我们的论文。