trl-internal-testing/tldr-preference-trl-style

该数据集采用标准的`prompt, chosen, rejected`格式进行预处理。数据集的特征包括prompt（提示）、chosen（选择的回答）、rejected（拒绝的回答）、info（信息）、summaries（摘要）、choice（选择）、worker（工作者）、batch（批次）、split（分割）和extra（额外信息）等。数据集的分割包括train（训练集）、validation（验证集）和validation_cnndm（CNN/Daily Mail验证集），每个分割都有相应的字节数和示例数。数据集的来源是https://huggingface.co/datasets/openai/summarize_from_feedback。

The dataset is preprocessed using the standard `prompt, chosen, rejected` format. The features of the dataset include prompt, chosen, rejected, info, summaries, choice, worker, batch, split, and extra. The splits of the dataset include train, validation, and validation_cnndm, each with corresponding byte sizes and number of examples. The source of the dataset is https://huggingface.co/datasets/openai/summarize_from_feedback.

原始信息汇总

数据集概述

数据集特征

• prompt: 数据类型为字符串。
• chosen: 包含两个子特征：
  • content: 数据类型为字符串。
  • role: 数据类型为字符串。
• rejected: 包含两个子特征：
  • content: 数据类型为字符串。
  • role: 数据类型为字符串。
• info: 结构化特征，包含以下子特征：
  • id: 数据类型为字符串。
  • post: 数据类型为字符串。
  • title: 数据类型为字符串。
  • subreddit: 数据类型为字符串。
  • site: 数据类型为字符串。
  • article: 数据类型为字符串。
• summaries: 包含三个子特征：
  • text: 数据类型为字符串。
  • policy: 数据类型为字符串。
  • note: 数据类型为字符串。
• choice: 数据类型为32位整数。
• worker: 数据类型为字符串。
• batch: 数据类型为字符串。
• split: 数据类型为字符串。
• extra: 结构化特征，包含以下子特征：
  • confidence: 数据类型为32位整数。

数据集分割

• train: 大小为597814060字节，包含92858个示例。
• validation: 大小为543890585字节，包含83802个示例。
• validation_cnndm: 大小为35776521字节，包含2284个示例。

数据集大小

• 下载大小: 139401121字节
• 数据集总大小: 1177481166字节

配置文件

• config_name: default
• data_files:
  • train: 路径为data/train-*
  • validation: 路径为data/validation-*
  • validation_cnndm: 路径为data/validation_cnndm-*