rookshanks/small-the_pile

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: perplexity_score
dtype: float64
- name: pile_set_name
dtype: string
splits:
- name: train
num_bytes: 484845334.4
num_examples: 80000
- name: validation
num_bytes: 60605666.8
num_examples: 10000
- name: test
num_bytes: 60605666.8
num_examples: 10000
download_size: 329390472
dataset_size: 606056667.9999999
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集信息：
特征：
- 名称：text（文本），数据类型：string（字符串）
- 名称：meta（元数据），为结构体类型，包含以下字段：
- perplexity_score（困惑度得分）：数据类型float64
- pile_set_name（Pile数据集集合名称）：数据类型string
数据集划分：
- 名称：train（训练集），占用字节数：484845334.4，样本数量：80000
- 名称：validation（验证集），占用字节数：60605666.8，样本数量：10000
- 名称：test（测试集），占用字节数：60605666.8，样本数量：10000
下载大小：329390472字节
数据集总大小：606056667.9999999字节
配置项：
- 配置名称：default（默认配置），数据文件路径：
- 训练集：data/train-*
- 验证集：data/validation-*
- 测试集：data/test-*

原始信息汇总

数据集概述

特征

• text: 数据类型为字符串。
• meta: 结构化数据，包含以下字段：
  • perplexity_score: 数据类型为浮点数（float64）。
  • pile_set_name: 数据类型为字符串。

数据分割

• train:
  • 字节数: 484845334.4
  • 样本数: 80000
• validation:
  • 字节数: 60605666.8
  • 样本数: 10000
• test:
  • 字节数: 60605666.8
  • 样本数: 10000

数据大小

• 下载大小: 329390472 字节
• 数据集大小: 606056667.9999999 字节

配置

• default:
  • train: 路径为 data/train-*
  • validation: 路径为 data/validation-*
  • test: 路径为 data/test-*