deatos/tokenized_fineweb_edu_10b_combined

该数据集包含多个特征字段，如id、dump、url、file_path、language等，每个字段都有指定的数据类型。数据集分为训练集和验证集，训练集包含9490000个样本，验证集包含182101个样本。数据集的下载大小为17514445942字节，总大小为67578779670字节。默认配置下，训练集和验证集的数据文件分别位于data/train-*和data/validation-*路径下。

This dataset includes multiple feature fields such as id, dump, url, file_path, language, etc., each with a specified data type. The dataset is divided into a training set and a validation set, with the training set containing 9,490,000 samples and the validation set containing 182,101 samples. The download size of the dataset is 17,514,445,942 bytes, and the total size is 67,578,779,670 bytes. Under the default configuration, the data files for the training and validation sets are located at data/train-* and data/validation-* paths, respectively.

原始信息汇总

数据集概述

特征信息

• id: 字符串类型
• dump: 字符串类型
• url: 字符串类型
• file_path: 字符串类型
• language: 字符串类型
• language_score: 浮点数类型
• token_count: 整数类型
• score: 浮点数类型
• int_score: 整数类型
• input_ids: 整数序列类型
• attention_mask: 整数序列类型
• labels: 整数序列类型

数据集划分

• train:
  • 字节数: 66307133402
  • 样本数: 9490000
• validation:
  • 字节数: 1271646268
  • 样本数: 182101

数据集大小

• 下载大小: 17514445942 字节
• 数据集总大小: 67578779670 字节

配置信息

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*