Columbia-NLP/DPO-distilabel-intel-orca-dpo-pairs_cleaned

该数据集是从argilla/distilabel-intel-orca-dpo-pairs数据集重新格式化而来。重新格式化的过程包括：1. 移除所有没有评分的样本（共有42个样本没有评分信息）；2. 在chosen、rejected和message列中翻转system与assistant角色，因为在原始数据集中，system角色被用来表示聊天机器人的响应；3. 移除所有选择与拒绝相同的行。此外，LION系列的训练过程包括SFT、DPO和在线偏好学习三个阶段，使用公开数据集进行训练，以确保可重复性。

This dataset is reformatted from the argilla/distilabel-intel-orca-dpo-pairs dataset. The reformatting process includes: 1. removing all samples where there were no ratings (there are 42 samples with no rating information); 2. flipping the system with assistant role in the chosen, rejected, and message columns, as in the original dataset, the system role was used to indicate chatbot responses; 3. removing all rows where the chosen is the same as rejected. Additionally, the LION-series training process includes three stages: SFT, DPO, and online preference learning, using publicly available datasets to ensure reproducibility.

原始信息汇总

数据集概述

数据集信息

特征

• prompt: 类型为字符串。
• prompt_id: 类型为字符串。
• chosen: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• rejected: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• messages: 包含以下子特征：
  • content: 类型为字符串。
  • role: 类型为字符串。
• score_chosen: 类型为浮点数。
• score_rejected: 类型为浮点数。
• other_info: 包含以下子特征：
  • in_gsm8k_train: 类型为布尔值。
  • labeling_model: 类型为字符串。
  • labeling_prompt: 包含以下子特征：
    • content: 类型为字符串。
    • role: 类型为字符串。
  • original_chosen: 类型为字符串。
  • original_rejected: 类型为字符串。
  • score_is_flipped: 类型为布尔值。
  • system: 类型为字符串。

数据集分割

• train: 包含12815个样本，占用145246184字节。

数据集大小

• 下载大小: 73934264字节。
• 数据集大小: 145246184字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

数据集描述

该数据集是从argilla/distilabel-intel-orca-dpo-pairs数据集重新格式化而来，具体修改如下：

1. 移除了所有没有评分信息的样本，共42个样本。
2. 在chosen、rejected和message列中，将"system"角色与"assistant"角色互换。
3. 移除了所有chosen与rejected相同的行。