ruliad/fineweb_edu_100BT_chunk_13
收藏Hugging Face2024-06-02 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/ruliad/fineweb_edu_100BT_chunk_13
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
- name: score
dtype: float64
- name: int_score
dtype: int64
splits:
- name: train
num_bytes: 25826102657
num_examples: 5000000
download_size: 14999304038
dataset_size: 25826102657
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
The dataset includes multiple features such as text, ID, URL, file path, language, language score, token count, score, and integer score. The data types cover string, float64, and int64. The dataset is divided into a training set with 5 million examples, with a total size of 25,826,102,657 bytes and a download size of 14,999,304,038 bytes.
提供机构：
ruliad
原始信息汇总
数据集概述
数据集特征
- text：文本，数据类型为字符串。
- id：标识符，数据类型为字符串。
- dump：转储信息，数据类型为字符串。
- url：链接地址，数据类型为字符串。
- file_path：文件路径，数据类型为字符串。
- language：语言标识，数据类型为字符串。
- language_score：语言评分，数据类型为浮点数。
- token_count：词条计数，数据类型为整数。
- score：评分，数据类型为浮点数。
- int_score：整数评分，数据类型为整数。
数据集分割
- train：训练集，包含5000000个样本，总大小为25826102657字节。
数据集大小
- 下载大小：14999304038字节。
- 数据集总大小：25826102657字节。
配置
- config_name：default
- data_files：
- split：train
- path：data/train-*
