and111/bert_pretrain_phase1
收藏Hugging Face2022-08-23 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/and111/bert_pretrain_phase1
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是BERT预训练第一阶段（序列长度为128）的输入数据，所有文本都使用bert-base-uncased分词器进行分词。数据是通过将wikipedia（20220301.en）和bookcorpusopen数据集连接并打乱后，使用参考的BERT数据预处理器生成的，且未进行掩码和输入重复处理（dupe_factor = 1）。文档使用NLTK句子分词器分割成句子。
提供机构：
and111
原始信息汇总
数据集概述
本数据集是为BERT预训练的第一阶段（序列长度128）设计的输入数据。所有文本均使用bert-base-uncased分词器进行分词处理。数据来源于wikipedia（分割版本：20220301.en）和bookcorpusopen数据集的拼接与随机混洗，并通过参考BERT数据预处理器进行处理，未应用掩码和输入重复（dupe_factor = 1）。文档中的句子分割使用NLTK的句子分词器（nltk.tokenize.sent_tokenize）完成。
