prince-canuma/fineweb-CC-MAIN-2024-10-6B-en

该数据集包含多种特征，如文本、ID、日期、文件路径等，并特别关注语言和语言得分。数据集主要分为训练集，包含8300000个示例，总大小为30910853401字节。

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• dump：字符串类型
• url：字符串类型
• date：字符串类型
• file_path：字符串类型
• language：字符串类型
• language_score：浮点数类型
• token_count：整数类型

数据集划分

• 训练集（train）：
  • 数据量：8300000个示例
  • 存储大小：30910853401字节

数据集大小

• 下载大小：17941164969字节
• 数据集总大小：30910853401字节

配置信息

• 默认配置（default）：
  • 训练数据路径：data/train-*