aditya-6122/tinystories-custom-dataset-vb-17831-cbpe-v1

---
dataset_info:
features:
- name: text
dtype: string
- name: raw_ids
list: int64
- name: ids
list: int64
- name: input_ids
list: int32
- name: output_ids
list: int64
splits:
- name: train
num_bytes: 581116812
num_examples: 100000
- name: validation
num_bytes: 116683260
num_examples: 20000
download_size: 654076050
dataset_size: 697800072
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征项：
- 字段名：text，数据类型：字符串
- 字段名：raw_ids，数据类型：64位整数列表
- 字段名：ids，数据类型：64位整数列表
- 字段名：input_ids，数据类型：32位整数列表
- 字段名：output_ids，数据类型：64位整数列表
数据集划分：
- 划分名称：train（训练集），占用字节数：581116812，样本总数：100000
- 划分名称：validation（验证集），占用字节数：116683260，样本总数：20000
下载总大小：654076050 字节
数据集总存储大小：697800072 字节
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：train（训练集），路径：data/train-*
- 划分：validation（验证集），路径：data/validation-*