meg/fineweb-non-binary-sentences

--- dataset_info: features: - name: text dtype: string - name: metadata struct: - name: date dtype: string - name: dump dtype: string - name: file_path dtype: string - name: language dtype: string - name: language_score dtype: float64 - name: token_count dtype: int64 - name: url dtype: string splits: - name: train num_bytes: 19885402 num_examples: 1936 download_size: 11783352 dataset_size: 19885402 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征： - 名称：text，数据类型：字符串 - 名称：metadata，数据类型：结构体，其子字段包括： - 子字段名：date（日期），数据类型：字符串 - 子字段名：dump（数据转储），数据类型：字符串 - 子字段名：file_path（文件路径），数据类型：字符串 - 子字段名：language（语言），数据类型：字符串 - 子字段名：language_score（语言得分），数据类型：float64 - 子字段名：token_count（Token计数），数据类型：int64 - 子字段名：url（统一资源定位符），数据类型：字符串 数据集划分： - 名称：train（训练集），占用字节数：19885402，样本数量：1936 下载大小：11783352 数据集总大小：19885402 配置项： - 配置名称：default，数据文件： - 数据集划分：train（训练集），路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• metadata：结构化数据，包含以下字段：
  • date：字符串类型
  • dump：字符串类型
  • file_path：字符串类型
  • language：字符串类型
  • language_score：浮点数类型
  • token_count：整数类型
  • url：字符串类型

数据集划分

• train：
  • 示例数量：1936
  • 数据大小：19885402字节

数据集大小

• 下载大小：11783352字节
• 数据集大小：19885402字节

配置

• default：
  • 训练数据路径：data/train-*