ruliad/fineweb_350BT_chunk_68

该数据集包含多个特征，包括文本、ID、转储、URL、日期、文件路径、语言、语言评分和令牌计数。数据集分为一个训练集，包含500万个示例，总大小为17278188130字节，下载大小为10311361951字节。

The dataset includes features such as text, ID, dump, URL, date, file_path, language, language_score, and token_count. It is split into a training set with 5 million examples. The dataset size is 17278188130 bytes, and the download size is 10311361951 bytes.

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• dump：字符串类型
• url：字符串类型
• date：字符串类型
• file_path：字符串类型
• language：字符串类型
• language_score：浮点数类型
• token_count：整数类型

数据集分割

• 训练集（train）：
  • 示例数量：5000000
  • 数据大小：17278188130 字节

数据集大小

• 下载大小：10311361951 字节
• 数据集总大小：17278188130 字节

配置

• 默认配置（default）：
  • 训练数据路径：data/train-*