Rab0na/bookcorpus_maxlen_32_tokenized

---
dataset_info:
features:
- name: bert_token
sequence: int64
- name: gpt2_token
sequence: int64
splits:
- name: test
num_bytes: 1848440.250435421
num_examples: 6960
- name: train
num_bytes: 18480581597.76182
num_examples: 69585613
download_size: 3934201942
dataset_size: 18482430038.012257
---
# Dataset Card for "bookcorpus_maxlen_32_tokenized"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: bookcorpus_maxlen_32_tokenized

数据集特征

• 特征列表:
  • bert_token: 序列类型为int64
  • gpt2_token: 序列类型为int64

数据集分割

• 分割详情:
  • test:
    • 样本数量: 6960
    • 数据大小: 1848440.250435421字节
  • train:
    • 样本数量: 69585613
    • 数据大小: 18480581597.76182字节

数据集大小

• 下载大小: 3934201942字节
• 数据集总大小: 18482430038.012257字节