skymizer/fineweb-edu-dedup-45B
收藏Hugging Face2024-11-17 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/skymizer/fineweb-edu-dedup-45B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是从HuggingFaceTB/smollm-corpus过滤而来，选择了fineweb-edu并进一步过滤得分大于3.0的条目，以提高数据集质量。数据集中包含45B GPT2 tokens。
This dataset was filtered from HuggingFaceTB/smollm-corpus. We selected the fineweb-edu and further filtered with score > 3.0 to make the dataset with higher quality; there are 45B GPT2 tokens in this dataset.
提供机构：
skymizer
