Columbia-NLP/DPO-Nectar

该数据集是从berkeley-nest/Nectar数据集重新格式化而来，用于训练LION系列的模型。这些模型通过三个阶段（SFT、DPO和在线偏好学习）进行优化，并且使用了公开可用的数据集以确保可重复性。具体来说，我们将原始数据集中的所有7-way比较数据转换为DPO对，将排名最高的答案作为chosen，并随机选择排名后三的答案之一作为rejected。由于原始数据集中没有标注分数，我们使用`chosen=10.0`和`rejected=1.0`作为占位符。

The DPO-Nectar dataset is reformatted from the berkeley-nest/Nectar dataset and is used for training the LION series models. It includes multiple features such as prompt, prompt_id, chosen, rejected, messages, score_chosen, score_rejected, and other_info. The dataset is divided into a training set containing 182954 samples. The reformatting involves converting 7-way comparison data from the original dataset into DPO pairs and using placeholder scores (chosen=10.0 and rejected=1.0) since no scores were labeled in the original dataset.

原始信息汇总

数据集概述

数据集信息

特征

• prompt: 类型为字符串。
• prompt_id: 类型为字符串。
• chosen: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• rejected: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• messages: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• score_chosen: 类型为浮点数。
• score_rejected: 类型为浮点数。
• other_info: 包含以下子特征：
  • chosen_model: 类型为字符串。
  • chosen_rank: 类型为浮点数。
  • good_natured: 类型为布尔值。
  • prompt_source: 类型为字符串序列。
  • rejected_model: 类型为字符串。
  • rejected_rank: 类型为浮点数。
  • source: 类型为字符串。

数据分割

• train: 包含182954个样本，总大小为1004392828字节。

数据集大小

• 下载大小: 482658014字节
• 数据集总大小: 1004392828字节

配置

• default: 包含训练数据文件，路径为data/train-*。

数据集描述

• 该数据集是从berkeley-nest/Nectar数据集重新格式化而来，用于DPO数据集集合。
• 具体操作包括：
  1. 将原始数据集中的7种比较数据转换为DPO对，将排名最高的答案作为chosen，随机选择三个底部响应中的一个作为rejected。
  2. 由于原始数据集中没有评分，使用chosen=10.0和rejected=1.0作为占位符。