meg/fineweb-non-binary-sentences

---
dataset_info:
features:
- name: text
dtype: string
- name: metadata
struct:
- name: date
dtype: string
- name: dump
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
- name: url
dtype: string
splits:
- name: train
num_bytes: 19885402
num_examples: 1936
download_size: 11783352
dataset_size: 19885402
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• metadata：结构化数据，包含以下字段：
  • date：字符串类型
  • dump：字符串类型
  • file_path：字符串类型
  • language：字符串类型
  • language_score：浮点数类型
  • token_count：整数类型
  • url：字符串类型

数据集划分

• train：
  • 示例数量：1936
  • 数据大小：19885402字节

数据集大小

• 下载大小：11783352字节
• 数据集大小：19885402字节

配置

• default：
  • 训练数据路径：data/train-*