tdooms/TinyStories-tokenized-4096

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 1848605112
num_examples: 1798254
- name: validation
num_bytes: 16842752
num_examples: 16384
download_size: 519090631
dataset_size: 1865447864
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征：
- 名称：输入Token ID序列（input_ids），数据类型为int32序列
数据集划分：
- 名称：训练集（train），占用字节数：1848605112，样本数量：1798254
- 名称：验证集（validation），占用字节数：16842752，样本数量：16384
下载大小：519090631
数据集总大小：1865447864
配置项：
- 配置名称：默认配置（default），数据文件：
- 数据集划分：训练集，路径：data/train-*
- 数据集划分：验证集，路径：data/validation-*

原始信息汇总

数据集概述

数据集特征

• 名称: input_ids
• 序列类型: int32

数据集分割

• 训练集
  • 样本数量: 1798254
  • 数据大小: 1848605112 字节
• 验证集
  • 样本数量: 16384
  • 数据大小: 16842752 字节

数据集大小

• 下载大小: 519090631 字节
• 总数据集大小: 1865447864 字节

数据文件配置

• 配置名称: default
• 训练数据文件路径: data/train-*
• 验证数据文件路径: data/validation-*