ruliad/fineweb_350BT_chunk_28

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 17160792411
num_examples: 5000000
download_size: 10266207601
dataset_size: 17160792411
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：text（文本），数据类型：字符串（string）
- 名称：id（编号），数据类型：字符串（string）
- 名称：dump（转储数据），数据类型：字符串（string）
- 名称：url（统一资源定位符），数据类型：字符串（string）
- 名称：date（日期），数据类型：字符串（string）
- 名称：file_path（文件路径），数据类型：字符串（string）
- 名称：language（语言），数据类型：字符串（string）
- 名称：language_score（语言评分），数据类型：双精度浮点数（float64）
- 名称：token_count（词元计数），数据类型：int64（整型）
拆分集：
- 名称：train（训练集），字节占用量：17160792411，样本总数：5000000
下载大小：10266207601
数据集总占用大小：17160792411
配置项：
- 配置名称：default（默认配置），数据文件：
- 拆分集：train（训练集），路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text: 字符串类型
• id: 字符串类型
• dump: 字符串类型
• url: 字符串类型
• date: 字符串类型
• file_path: 字符串类型
• language: 字符串类型
• language_score: 浮点数类型
• token_count: 整数类型

数据集划分

• 训练集 (train):
  • 示例数量: 5000000
  • 数据大小: 17160792411 字节

数据集大小

• 下载大小: 10266207601 字节
• 数据集总大小: 17160792411 字节

配置

• 默认配置 (default):
  • 数据文件路径: data/train-*