ZHZisZZ/imdb_preference

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
dataset_info:
features:
- name: prompt
dtype: string
- name: responses
sequence: string
- name: scores
sequence: float64
- name: chosen
dtype: int64
splits:
- name: train
num_bytes: 26080900.0
num_examples: 20000
- name: validation
num_bytes: 5216180.0
num_examples: 4000
- name: test
num_bytes: 1304045.0
num_examples: 1000
download_size: 19096433
dataset_size: 32601125.0
---
# Dataset Card for "imdb_preference"

SFT model: https://huggingface.co/lvwerra/gpt2-imdb

Golden reward model (log_p(positive)-log_p(negative)): https://huggingface.co/lvwerra/distilbert-imdb

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 验证集：路径为 data/validation-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • prompt：字符串类型
  • responses：字符串序列
  • scores：浮点数序列
  • chosen：整数类型

• 数据分割：

  • 训练集：
    • 字节数：26080900.0
    • 样本数：20000
  • 验证集：
    • 字节数：5216180.0
    • 样本数：4000
  • 测试集：
    • 字节数：1304045.0
    • 样本数：1000

• 数据集大小：

  • 下载大小：19096433
  • 数据集大小：32601125.0