ruliad/fineweb_350BT_chunk_48

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 17174987258
num_examples: 5000000
download_size: 10261419466
dataset_size: 17174987258
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集信息

特征

• text: 数据类型为字符串。
• id: 数据类型为字符串。
• dump: 数据类型为字符串。
• url: 数据类型为字符串。
• date: 数据类型为字符串。
• file_path: 数据类型为字符串。
• language: 数据类型为字符串。
• language_score: 数据类型为浮点数。
• token_count: 数据类型为整数。

数据分割

• train: 包含5000000个样本，总字节数为17174987258。

数据集大小

• 下载大小: 10261419466字节。
• 数据集大小: 17174987258字节。

配置

• default: 包含训练数据文件，路径为data/train-*。