vwxyzjn/tldr-preference-trl-style

该数据集使用了标准的`prompt, chosen, rejected`格式进行预处理。数据集的特征包括prompt、chosen、rejected、info、summaries、choice、worker、batch、split和extra等字段。数据集的来源是https://huggingface.co/datasets/openai/summarize_from_feedback。

原始信息汇总

数据集概述

数据集特征

• prompt: 字符串类型
• chosen: 列表类型，包含：
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型，包含：
  • content: 字符串类型
  • role: 字符串类型
• info: 结构类型，包含：
  • id: 字符串类型
  • post: 字符串类型
  • title: 字符串类型
  • subreddit: 字符串类型
  • site: 字符串类型
  • article: 字符串类型
• summaries: 列表类型，包含：
  • text: 字符串类型
  • policy: 字符串类型
  • note: 字符串类型
• choice: 整数类型（int32）
• worker: 字符串类型
• batch: 字符串类型
• split: 字符串类型
• extra: 结构类型，包含：
  • confidence: 整数类型（int32）

数据集分割

• train: 50个样本，占用315969字节
• validation: 50个样本，占用325197字节

数据集大小

• 下载大小: 150499字节
• 数据集总大小: 641166字节

配置文件

• default配置下，数据文件路径如下：
  • 训练集: data/train-*
  • 验证集: data/validation-*