prince-canuma/fineweb-CC-MAIN-2024-10-8B-en

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 41005739632
num_examples: 11000000
download_size: 23802456241
dataset_size: 41005739632
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

This dataset includes multiple features such as text, ID, URL, date, etc., with various data types like string and float64. The dataset is split into a training set containing 11 million examples with a total size of 41GB. The dataset configuration is named default and the data file path is data/train-*.

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• dump：字符串类型
• url：字符串类型
• date：字符串类型
• file_path：字符串类型
• language：字符串类型
• language_score：浮点数类型
• token_count：整数类型

数据集分割

• train：
  • 数据量：11000000个样本
  • 存储大小：41005739632字节

数据集大小

• 下载大小：23802456241字节
• 数据集大小：41005739632字节

配置

• default：
  • 训练数据路径：data/train-*