Taywon/webgpt

--- dataset_info: features: - name: question struct: - name: dataset dtype: string - name: id dtype: string - name: full_text dtype: string - name: quotes_0 sequence: - name: title dtype: string - name: extract dtype: string - name: answer_0 dtype: string - name: tokens_0 struct: - name: prefix sequence: int32 - name: completion sequence: int32 - name: score_0 dtype: float32 - name: quotes_1 sequence: - name: title dtype: string - name: extract dtype: string - name: answer_1 dtype: string - name: tokens_1 struct: - name: prefix sequence: int32 - name: completion sequence: int32 - name: score_1 dtype: float32 - name: input_ids_chosen sequence: int64 - name: attention_mask_chosen sequence: int64 - name: input_ids_rejected sequence: int64 - name: attention_mask_rejected sequence: int64 splits: - name: train num_bytes: 239337866.30222642 num_examples: 12663 - name: eval num_bytes: 12599727.0 num_examples: 667 download_size: 103209679 dataset_size: 251937593.30222642 configs: - config_name: default data_files: - split: train path: data/train-* - split: eval path: data/eval-* --- # Dataset Card for "webgpt" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征字段： - 名称：问题（question），结构体包含： - dataset：字符串（string）类型 - id：字符串（string）类型 - full_text：字符串（string）类型 - 名称：引用0（quotes_0），类型为序列，每个序列元素包含： - title：标题（string）类型 - extract：摘录内容（string）类型 - 名称：回答0（answer_0），数据类型为字符串（string） - 名称：Token序列0（tokens_0），结构体包含： - prefix：前缀，int32类型序列 - completion：补全内容，int32类型序列 - 名称：得分0（score_0），数据类型为单精度浮点型（float32） - 名称：引用1（quotes_1），结构同引用0 - 名称：回答1（answer_1），数据类型为字符串（string） - 名称：Token序列1（tokens_1），结构同Token序列0 - 名称：得分1（score_1），数据类型为单精度浮点型（float32） - 名称：选中样本输入ID（input_ids_chosen），int64类型序列 - 名称：选中样本注意力掩码（attention_mask_chosen），int64类型序列 - 名称：拒选样本输入ID（input_ids_rejected），int64类型序列 - 名称：拒选样本注意力掩码（attention_mask_rejected），int64类型序列 数据划分： - 名称：训练集（train），占用字节数：239337866.30222642，样本数：12663 - 名称：验证集（eval），占用字节数：12599727.0，样本数：667 下载大小：103209679 字节 数据集总大小：251937593.30222642 字节 数据集配置： - 配置名称：默认配置（default），数据文件： - 划分：训练集（train），路径：data/train-* - 划分：验证集（eval），路径：data/eval-* --- # 《webgpt》数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集特征

• question

  • dataset: 数据类型为字符串
  • id: 数据类型为字符串
  • full_text: 数据类型为字符串

• quotes_0

  • title: 数据类型为字符串
  • extract: 数据类型为字符串

• answer_0: 数据类型为字符串

• tokens_0

  • prefix: 数据类型为整数序列
  • completion: 数据类型为整数序列

• score_0: 数据类型为浮点数

• quotes_1

  • title: 数据类型为字符串
  • extract: 数据类型为字符串

• answer_1: 数据类型为字符串

• tokens_1

  • prefix: 数据类型为整数序列
  • completion: 数据类型为整数序列

• score_1: 数据类型为浮点数

• input_ids_chosen: 数据类型为整数序列

• attention_mask_chosen: 数据类型为整数序列

• input_ids_rejected: 数据类型为整数序列

• attention_mask_rejected: 数据类型为整数序列

数据集分割

• train

  • 数据大小: 239337866.30222642 字节
  • 样本数量: 12663

• eval

  • 数据大小: 12599727.0 字节
  • 样本数量: 667

数据集大小

• 下载大小: 103209679 字节
• 总大小: 251937593.30222642 字节

配置文件

• config_name: default
  • train: 路径为 data/train-*
  • eval: 路径为 data/eval-*