apollo-research/sae-monology-pile-uncopyrighted-tokenizer-gpt2

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 39285716200.0
num_examples: 9581882
download_size: 16728794109
dataset_size: 39285716200.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 特征名称：输入标识序列（input_ids），数据类型：int32序列
数据划分：
- 划分名称：训练集（train），占用字节数：39285716200.0，样本总数：9581882
下载总大小：16728794109，数据集总存储大小：39285716200.0
配置信息：
- 配置名称：默认配置（default），数据文件：
- 对应划分：训练集（train），文件路径：data/train-*

原始信息汇总

数据集概述

数据特征

• 名称: input_ids
• 类型: int32

数据划分

• 名称: train
• 字节数: 39285716200.0
• 样本数: 9581882

数据集大小

• 下载大小: 16728794109
• 数据集大小: 39285716200.0

配置

• 配置名称: default
• 数据文件:
  • 划分: train
  • 路径: data/train-*