ryanaswift7/fineweb-edu-pythia-kdfp-subsets-500m-seq256

---
dataset_info:
config_name: v1
features:
- name: text
dtype: string
- name: token_count
dtype: int64
- name: id
dtype: string
- name: url
dtype: string
- name: edu_score
dtype: float64
- name: version_label
dtype: string
- name: split_name
dtype: string
splits:
- name: train
num_bytes: 2696149666
num_examples: 2039737
- name: validation
num_bytes: 270944789
num_examples: 204119
- name: test
num_bytes: 269991497
num_examples: 204170
download_size: 2063108830
dataset_size: 3237085952
configs:
- config_name: v1
data_files:
- split: train
path: v1/train-*
- split: validation
path: v1/validation-*
- split: test
path: v1/test-*
---

数据集信息：
配置名称：v1
特征列表：
- 名称：文本
数据类型：字符串（string）
- 名称：Token计数
数据类型：64位整型（int64）
- 名称：标识符
数据类型：字符串（string）
- 名称：URL
数据类型：字符串（string）
- 名称：教育评分
数据类型：64位浮点型（float64）
- 名称：版本标签
数据类型：字符串（string）
- 名称：划分集名称
数据类型：字符串（string）
数据集划分：
- 名称：训练集（train）
字节大小：2696149666
样本数量：2039737
- 名称：验证集（validation）
字节大小：270944789
样本数量：204119
- 名称：测试集（test）
字节大小：269991497
样本数量：204170
下载总大小：2063108830
数据集总大小：3237085952
配置项：
- 配置名称：v1
数据文件：
- 划分集：训练集（train）
文件路径：v1/train-*
- 划分集：验证集（validation）
文件路径：v1/validation-*
- 划分集：测试集（test）
文件路径：v1/test-*