Heyzews/textbook-star-tokens

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 455501800
num_examples: 111098
- name: validation
num_bytes: 80228800
num_examples: 19568
download_size: 95652767
dataset_size: 535730600
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征字段：
- 名称：输入ID序列（input_ids），数据类型为32位整数序列
数据集划分：
- 名称：训练集，字节规模：455501800，样本总量：111098
- 名称：验证集，字节规模：80228800，样本总量：19568
下载总大小：95652767，数据集总存储规模：535730600
配置项：
- 配置名称：默认配置，数据文件：
- 对应训练集划分，路径：data/train-*
- 对应验证集划分，路径：data/validation-*

原始信息汇总

数据集概述

数据集特征

• 名称: input_ids
• 序列类型: int32

数据集分割

• 训练集
  • 样本数量: 111098
  • 数据大小: 455501800字节
• 验证集
  • 样本数量: 19568
  • 数据大小: 80228800字节

数据集大小

• 下载大小: 95652767字节
• 总数据大小: 535730600字节

配置文件

• 配置名称: default
• 数据文件路径
  • 训练集: data/train-*
  • 验证集: data/validation-*