ruliad/fineweb_350BT_chunk_46
收藏Hugging Face2024-06-02 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/ruliad/fineweb_350BT_chunk_46
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 17181508657
num_examples: 5000000
download_size: 10266389282
dataset_size: 17181508657
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
The dataset includes various features such as text content, unique identifiers, URLs of data origin, record dates, file paths, detected languages, language detection accuracy scores, and token counts in the text. The dataset is divided into a training set with 5,000,000 examples. The total size of the dataset is 17,181,508,657 bytes, and the download size is 10,266,389,282 bytes.
提供机构：
ruliad
原始信息汇总
数据集概述
数据集特征
- text：字符串类型
- id：字符串类型
- dump：字符串类型
- url：字符串类型
- date：字符串类型
- file_path：字符串类型
- language：字符串类型
- language_score：浮点数类型
- token_count：整数类型
数据集分割
- 训练集（train）：
- 数据量：5000000个样本
- 存储大小：17181508657字节
数据集大小
- 下载大小：10266389282字节
- 数据集总大小：17181508657字节
配置信息
- 默认配置（default）：
- 训练数据路径：
data/train-*
- 训练数据路径：
