five

ipappify/fineweb-edu-10M-div

收藏
Hugging Face2024-06-22 更新2024-06-29 收录
下载链接:
https://hf-mirror.com/datasets/ipappify/fineweb-edu-10M-div
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集是从HuggingFaceFW/fineweb-edu (sample-10BT)中提取的简短片段(每个片段不超过96个tokens),包含9,672,101条记录和927,222,631个tokens。训练数据被简单地重命名为测试数据。

该数据集是从HuggingFaceFW/fineweb-edu (sample-10BT)中提取的简短片段(每个片段不超过96个tokens),包含9,672,101条记录和927,222,631个tokens。训练数据被简单地重命名为测试数据。
提供机构:
ipappify
原始信息汇总

数据集概述

数据来源

  • 数据集来源于 HuggingFaceFW/fineweb-edu 项目。

数据规模

  • 记录数:9,672,101
  • 总token数:927,222,631

数据处理

  • 训练数据被简单重命名为测试数据。
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作