argilla/OpenHermes2.5-dpo-binarized-alpha

该数据集名为OpenHermes-2.5-DPO-binarized-alpha，是基于OpenHermes-2.5数据集构建的DPO（Direct Preference Optimization）数据集。数据集使用了distilabel工具，并采用了PairRM进行偏好选择，而不是使用OpenAI模型。数据集包含了训练集和测试集，分别有8813和980个样本。数据集的构建过程包括使用vLLM和Nous-Hermes-2-Yi-34B模型生成响应，并使用PairRM进行偏好排序，最终生成chosen和rejected对。数据集的使用方法包括如何格式化数据以用于偏好调优chatml兼容的模型。

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • hash: 数据类型为 null
  • avatarUrl: 数据类型为 null
  • model: 数据类型为 null
  • category: 数据类型为 string
  • views: 数据类型为 null
  • system_prompt: 数据类型为 null
  • model_name: 数据类型为 null
  • language: 数据类型为 null
  • id: 数据类型为 null
  • skip_prompt_formatting: 数据类型为 bool
  • custom_instruction: 数据类型为 null
  • topic: 数据类型为 null
  • title: 数据类型为 null
  • idx: 数据类型为 null
  • source: 数据类型为 string
  • conversations: 列表类型，包含以下子特征:
    • from: 数据类型为 string
    • value: 数据类型为 string
    • weight: 数据类型为 null
  • input: 数据类型为 string
  • generation_model: 序列类型，数据类型为 string
  • generation_prompt: 序列类型，数据类型为 string
  • raw_generation_responses: 序列类型，数据类型为 string
  • generations: 序列类型，数据类型为 string
  • rating: 序列类型，数据类型为 float32
  • chosen: 列表类型，包含以下子特征:
    • content: 数据类型为 string
    • role: 数据类型为 string
  • rejected: 列表类型，包含以下子特征:
    • content: 数据类型为 string
    • role: 数据类型为 string
  • chosen_model: 数据类型为 string
  • rejected_model: 数据类型为 string
  • rejected_score: 数据类型为 float64
  • chosen_score: 数据类型为 float64

• 数据集划分:

  • train: 包含 8813 个样本，总大小为 85831620.35596855 字节
  • test: 包含 980 个样本，总大小为 9544421.64403145 字节

• 数据集大小:

  • 下载大小: 50892554 字节
  • 数据集总大小: 95376042 字节

• 配置:

  • default 配置包含以下数据文件:
    • train 数据文件路径: data/train-*
    • test 数据文件路径: data/test-*

• 标签:

  • synthetic
  • distilabel
  • rlaif
  • rlhf
  • dpo