terrycraddock/GPT2-PretrainV1-Tokenized-en

---
license: mit
dataset_info:
features:
- name: text
dtype: large_string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 175021436352
num_examples: 32136787
- name: val
num_bytes: 19446807404
num_examples: 3570755
download_size: 13514846754
dataset_size: 194468243756
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: val
path: data/val-*
---

原始信息汇总

数据集概述

数据特征

• text: 数据类型为 large_string
• input_ids: 数据类型为 int32 的序列
• attention_mask: 数据类型为 int8 的序列

数据分割

• train:
  • 字节数: 175021436352
  • 样本数: 32136787
• val:
  • 字节数: 19446807404
  • 样本数: 3570755

数据大小

• 下载大小: 13514846754 字节
• 数据集大小: 194468243756 字节

配置

• config_name: default
  • data_files:
    • train: 路径为 data/train-*
    • val: 路径为 data/val-*