ruliad/fineweb_350BT_chunk_69

该数据集包含多个特征字段，如文本、ID、转储、URL、日期、文件路径、语言、语言评分和词数统计。数据集包含一个训练集分割，共有500万个样本，总大小为17284015261字节。

This dataset includes various features such as text content, unique ID, source URL, date recorded, file path, language type, language detection score, and token count of the text. The dataset is primarily divided into a training set, which contains 5,000,000 examples. The total size of the dataset is 17,284,015,261 bytes, with a download size of 10,309,457,010 bytes.

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• dump：字符串类型
• url：字符串类型
• date：字符串类型
• file_path：字符串类型
• language：字符串类型
• language_score：浮点数类型
• token_count：整数类型

数据集划分

• train：
  • 数据量：5000000条记录
  • 存储大小：17284015261字节

数据集大小

• 下载大小：10309457010字节
• 数据集总大小：17284015261字节

数据文件配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*