and111/bert_pretrain_phase2
收藏Hugging Face2022-08-24 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/and111/bert_pretrain_phase2
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是用于BERT预训练的第二阶段，输入数据的序列长度为512。所有文本都使用bert-base-uncased分词器进行分词。数据是通过将wikipedia（20220301.en）和bookcorpusopen数据集进行拼接和混洗，并使用参考的BERT数据预处理工具进行处理得到的，处理过程中没有进行掩码和输入重复（dupe_factor = 1）。文档使用NLTK句子分词器进行分句。
提供机构：
and111
原始信息汇总
数据集概述
本数据集是为BERT预训练的第二阶段设计的，输入序列长度为512。所有文本已使用bert-base-uncased分词器进行分词。数据来源于wikipedia（分割版本：20220301.en）和bookcorpusopen数据集的拼接与随机重排，并应用了参考BERT数据预处理器，未进行遮蔽和输入重复（dupe_factor = 1）。文档通过NLTK的句子分词器（nltk.tokenize.sent_tokenize）被分割成句子。
