jimwang99/TinyStoriesV2-Tokenized

---
license: mit
dataset_info:
features:
- name: text
dtype: string
- name: r50k_base
sequence: int64
- name: cl100k_base
sequence: int64
- name: sentencepiece_tok32k
sequence: int64
- name: sentencepiece_tok512
sequence: int64
splits:
- name: train
num_bytes: 24007674495
num_examples: 2717694
- name: validation
num_bytes: 242395234
num_examples: 27629
download_size: 4718742569
dataset_size: 24250069729
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• r50k_base：整数序列类型，长度为64位
• cl100k_base：整数序列类型，长度为64位
• sentencepiece_tok32k：整数序列类型，长度为64位
• sentencepiece_tok512：整数序列类型，长度为64位

数据集划分

• 训练集：
  • 数据量：2717694个样本
  • 存储大小：24007674495字节
• 验证集：
  • 数据量：27629个样本
  • 存储大小：242395234字节

数据集大小

• 下载大小：4718742569字节
• 数据集总大小：24250069729字节

数据文件配置

• 默认配置：
  • 训练集路径：data/train-*
  • 验证集路径：data/validation-*