ruliad/fineweb_350BT_chunk_18

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 17051852457
num_examples: 5000000
download_size: 10208267745
dataset_size: 17051852457
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

This dataset includes multiple features such as text content, unique identifiers, URLs of data sources, record dates, file paths, language types, language identification confidence scores, and token counts of the text. The dataset is divided into a training set containing 5,000,000 samples. The total size of the dataset is 17,051,852,457 bytes, while the download size is 10,208,267,745 bytes.

原始信息汇总

数据集概述

数据集特征

• text: 数据类型为字符串。
• id: 数据类型为字符串。
• dump: 数据类型为字符串。
• url: 数据类型为字符串。
• date: 数据类型为字符串。
• file_path: 数据类型为字符串。
• language: 数据类型为字符串。
• language_score: 数据类型为浮点数。
• token_count: 数据类型为整数。

数据集划分

• 训练集 (train):
  • 数据量: 5000000条记录
  • 存储大小: 17051852457字节

数据集大小

• 下载大小: 10208267745字节
• 数据集总大小: 17051852457字节

配置

• 默认配置 (default):
  • 训练数据路径: data/train-*