xz56/openwebtext-tokenized-llama-256-1.5B

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 5881094452.0
num_examples: 5720909
- name: test
num_bytes: 309531828.0
num_examples: 301101
download_size: 3050956963
dataset_size: 6190626280.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

数据集信息：
特征：
- 名称：input_ids（输入ID），序列类型：int32（32位整数）
数据划分：
- 划分名称：train（训练集），字节占用量：5881094452.0，样本数量：5720909
- 划分名称：test（测试集），字节占用量：309531828.0，样本数量：301101
下载大小：3050956963
数据集总大小：6190626280.0
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：train（训练集），路径：data/train-*
- 划分：test（测试集），路径：data/test-*

原始信息汇总

数据集概述

数据集特征

• 名称: input_ids
• 序列类型: int32

数据分割

• 训练集
  • 示例数量: 5720909
  • 数据大小: 5881094452.0字节
• 测试集
  • 示例数量: 301101
  • 数据大小: 309531828.0字节

数据集大小

• 下载大小: 3050956963字节
• 总数据大小: 6190626280.0字节

数据文件配置

• 配置名称: default
• 文件路径
  • 训练集: data/train-*
  • 测试集: data/test-*