meg/fineweb-young-sentences

---
dataset_info:
features:
- name: text
dtype: string
- name: metadata
struct:
- name: date
dtype: string
- name: dump
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
- name: url
dtype: string
splits:
- name: train
num_bytes: 7972319353
num_examples: 985131
download_size: 4856375153
dataset_size: 7972319353
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：text（文本），数据类型：字符串型
- 名称：metadata（元数据），其结构体包含如下字段：
- 字段名：date（日期），数据类型：字符串型
- 字段名：dump（数据转储），数据类型：字符串型
- 字段名：file_path（文件路径），数据类型：字符串型
- 字段名：language（语言），数据类型：字符串型
- 字段名：language_score（语言得分），数据类型：64位浮点数（float64）
- 字段名：token_count（Token计数），数据类型：64位整数（int64）
- 字段名：url（统一资源定位符），数据类型：字符串型
数据集划分：
- 划分名称：train（训练集），占用字节数：7972319353，样本总数：985131
下载总大小：4856375153
数据集存储大小：7972319353
配置项：
- 配置名称：default（默认配置），对应数据文件：
- 数据集划分：train（训练集），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text: 文本类型，数据类型为字符串。
• metadata: 结构化元数据，包含以下字段：
  • date: 字符串类型。
  • dump: 字符串类型。
  • file_path: 字符串类型。
  • language: 字符串类型。
  • language_score: 浮点数类型。
  • token_count: 整数类型。
  • url: 字符串类型。

数据集划分

• train: 训练集，包含985131个样本，总大小为7972319353字节。

数据集大小

• 下载大小: 4856375153字节。
• 数据集大小: 7972319353字节。

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*