ipappify/fineweb-edu-10M-div
收藏Hugging Face2024-06-22 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/ipappify/fineweb-edu-10M-div
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是从HuggingFaceFW/fineweb-edu (sample-10BT)中提取的简短片段（每个片段不超过96个tokens），包含9,672,101条记录和927,222,631个tokens。训练数据被简单地重命名为测试数据。
该数据集是从HuggingFaceFW/fineweb-edu (sample-10BT)中提取的简短片段（每个片段不超过96个tokens），包含9,672,101条记录和927,222,631个tokens。训练数据被简单地重命名为测试数据。
提供机构：
ipappify
原始信息汇总
数据集概述
数据来源
- 数据集来源于
HuggingFaceFW/fineweb-edu项目。
数据规模
- 记录数：9,672,101
- 总token数：927,222,631
数据处理
- 训练数据被简单重命名为测试数据。
