gngdb/subset_the_pile_deduplicated
收藏Hugging Face2024-09-04 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/gngdb/subset_the_pile_deduplicated
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是从EleutherAI/the_pile_deduplicated数据集中提取的一个子集，目的是将其大小减少到与openwebtext数据集相同的大小。数据集包含一个名为train的分割，其中包含8018993个文本样本。
This dataset is loaded from EleutherAI/the_pile_deduplicated, deduplicated, and reduced in size to be similar to openwebtext through sampling. The dataset contains only the training set, with the feature being text, and has 8,018,993 examples.
提供机构：
gngdb
