ruliad/fineweb_edu_100BT_chunk_10

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
- name: score
dtype: float64
- name: int_score
dtype: int64
splits:
- name: train
num_bytes: 25469715979
num_examples: 5000000
download_size: 14794373780
dataset_size: 25469715979
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 字段名：text，数据类型：string
- 字段名：id，数据类型：string
- 字段名：dump，数据类型：string
- 字段名：url，数据类型：string
- 字段名：file_path，数据类型：string
- 字段名：language，数据类型：string
- 字段名：language_score，数据类型：float64
- 字段名：token_count，数据类型：int64
- 字段名：score，数据类型：float64
- 字段名：int_score，数据类型：int64
数据拆分：
- 拆分名称：train，字节数：25469715979，样本数量：5000000
下载大小：14794373780 字节
数据集存储大小：25469715979 字节
数据集配置：
- 配置名称：default，数据文件：
- 对应拆分：train，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text: 文本类型，字符串
• id: 标识符，字符串
• dump: 转储信息，字符串
• url: 网址，字符串
• file_path: 文件路径，字符串
• language: 语言标识，字符串
• language_score: 语言得分，浮点数
• token_count: 词条计数，整数
• score: 得分，浮点数
• int_score: 整数得分，整数

数据集划分

• train: 训练集
  • 字节数: 25469715979
  • 示例数: 5000000

数据集大小

• 下载大小: 14794373780
• 数据集大小: 25469715979

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*