JackBAI/bert_pretrain_datasets

该数据集本质上是英文维基百科（wikipedia.20220301.en.train）和书籍语料库（bookcorpus.train）训练集的合并。通过合并这两个数据集，创建了一个用于BERT预训练的数据集。需要注意的是，这是对BERT使用数据集的简单复制，官方BERT检查点可能是在一个更加精心设计的数据集上预训练的。

原始信息汇总

数据集概述

数据集信息

• 特征:

  • 名称: text
  • 数据类型: string

• 数据分割:

  • 名称: train
  • 字节数: 24500165181
  • 样本数: 80462898

• 下载大小: 14400389487

• 数据集大小: 24500165181

配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集来源

• 数据集由英语维基百科（wikipedia.20220301.en.train）和Book Corpus（bookcorpus.train）的训练集拼接而成。