xz56/minipile-tok-gpt-2048

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 5965671696
num_examples: 727876
- name: validation
num_bytes: 2770248
num_examples: 338
- name: test
num_bytes: 58625988
num_examples: 7153
download_size: 2464819303
dataset_size: 6027067932
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

原始信息汇总

数据集概述

数据集特征

• 名称: input_ids
• 序列类型: int32

数据集分割

• 训练集
  • 示例数量: 727876
  • 数据大小: 5965671696 字节
• 验证集
  • 示例数量: 338
  • 数据大小: 2770248 字节
• 测试集
  • 示例数量: 7153
  • 数据大小: 58625988 字节

数据集大小

• 下载大小: 2464819303 字节
• 总数据集大小: 6027067932 字节

数据文件配置

• 配置名称: default
• 数据文件路径
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*