arun-AiBharat/bookcorpus_tokenized_gpt2
收藏Hugging Face2024-09-30 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/arun-AiBharat/bookcorpus_tokenized_gpt2
下载链接
链接失效反馈官方服务：
资源简介：
这是一个使用默认gpt2分词器进行分词的BookCorpus数据集版本。数据集包含两个主要特征：input_ids和attention_mask，分别表示序列化的整数和序列化的8位整数。数据集仅包含一个训练集，共有74004228个样本，数据大小为6013274694字节。
This is a tokenized version of the BookCorpus dataset, using the default gpt2 tokenizer. The dataset includes two main features: input_ids and attention_mask, representing sequences of integers and sequences of 8-bit integers, respectively. The dataset contains only a training set with 74,004,228 samples and a data size of 6,013,274,694 bytes.
提供机构：
arun-AiBharat
