dlibf/ultra_feedback_zephyr-dpo

--- dataset_info: features: - name: prompt dtype: string - name: prompt_id dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string - name: messages list: - name: content dtype: string - name: role dtype: string - name: score_chosen dtype: float64 - name: score_rejected dtype: float64 splits: - name: train_prefs num_bytes: 405688662 num_examples: 61135 - name: test_prefs num_bytes: 13161585 num_examples: 2000 - name: train_gen num_bytes: 325040536 num_examples: 61135 - name: test_gen num_bytes: 5337695 num_examples: 1000 download_size: 420356275 dataset_size: 749228478 configs: - config_name: default data_files: - split: train_prefs path: data/train_prefs-* - split: test_prefs path: data/test_prefs-* - split: train_gen path: data/train_gen-* - split: test_gen path: data/test_gen-* ---数据集信息： 特征字段： 1. 提示词（prompt）：数据类型（dtype）为字符串 2. 提示词ID（prompt_id）：数据类型（dtype）为字符串 3. 被选中回复（chosen）：为列表类型（list），包含两个子字段： - 回复内容（content）：数据类型（dtype）为字符串 - 对话角色（role）：数据类型（dtype）为字符串 4. 被拒回复（rejected）：为列表类型（list），包含两个子字段： - 回复内容（content）：数据类型（dtype）为字符串 - 对话角色（role）：数据类型（dtype）为字符串 5. 对话历史（messages）：为列表类型（list），包含两个子字段： - 对话内容（content）：数据类型（dtype）为字符串 - 对话角色（role）：数据类型（dtype）为字符串 6. 被选中回复得分（score_chosen）：数据类型（dtype）为64位浮点型（float64） 7. 被拒回复得分（score_rejected）：数据类型（dtype）为64位浮点型（float64） 数据集划分（splits）： 1. 偏好训练子集（train_prefs）：占用字节数405688662，样本量61135 2. 偏好测试子集（test_prefs）：占用字节数13161585，样本量2000 3. 生成训练子集（train_gen）：占用字节数325040536，样本量61135 4. 生成测试子集（test_gen）：占用字节数5337695，样本量1000 下载大小（download_size）：420356275字节，数据集总占用大小（dataset_size）：749228478字节 配置项（configs）： 配置名称为默认配置（default），对应的数据文件路径如下： - 划分train_prefs：对应路径data/train_prefs-* - 划分test_prefs：对应路径data/test_prefs-* - 划分train_gen：对应路径data/train_gen-* - 划分test_gen：对应路径data/test_gen-*

原始信息汇总

数据集概述

数据特征

• prompt: 字符串类型
• prompt_id: 字符串类型
• chosen: 列表类型，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型
• messages: 列表类型，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型
• score_chosen: 浮点数类型
• score_rejected: 浮点数类型

数据分割

• train_prefs:
  • 字节数: 405688662
  • 样本数: 61135
• test_prefs:
  • 字节数: 13161585
  • 样本数: 2000
• train_gen:
  • 字节数: 325040536
  • 样本数: 61135
• test_gen:
  • 字节数: 5337695
  • 样本数: 1000

数据集大小

• 下载大小: 420356275 字节
• 数据集大小: 749228478 字节

配置

• default 配置包含以下数据文件：
  • train_prefs: data/train_prefs-*
  • test_prefs: data/test_prefs-*
  • train_gen: data/train_gen-*
  • test_gen: data/test_gen-*