ruliad/fineweb_350BT_chunk_21

该数据集包含多个特征，如文本、ID、转储、URL、日期、文件路径、语言、语言评分和词数统计。数据集分为一个训练集，包含500万个样本，总大小为17025239584字节。下载大小为10196176288字节。数据集的配置名为默认，数据文件路径为data/train-*。

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• dump：字符串类型
• url：字符串类型
• date：字符串类型
• file_path：字符串类型
• language：字符串类型
• language_score：浮点数类型
• token_count：整数类型

数据集分割

• train：
  • 字节数：17025239584
  • 示例数：5000000

数据集大小

• 下载大小：10196176288
• 数据集大小：17025239584

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*