jacquelinehe/dedup_icp_fineweb_10bt

该数据集包含一个名为text的特征，数据类型为字符串。数据集被分割为训练集，包含5,572,362个样本，总大小为27,834,761,709字节。下载大小为15,824,194,561字节。

The dataset includes a feature named text with a data type of string. It is split into a training set containing 5,572,362 examples, with a total size of 27,834,761,709 bytes. The download size is 15,824,194,561 bytes.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • 名称: text
  • 数据类型: string

数据分割

• 分割名称: train
  • 字节数: 27834761709
  • 样本数: 5572362

数据集大小

• 下载大小: 15824194561
• 数据集大小: 27834761709

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*