daven3/slimpajama_dc_lc_llama

---
dataset_info:
features:
- name: input_ids
sequence: int64
splits:
- name: train
num_bytes: 79904941740.0
num_examples: 76203
- name: valid
num_bytes: 4438639140.0
num_examples: 4233
- name: test
num_bytes: 4439687720.0
num_examples: 4234
download_size: 20243739815
dataset_size: 88783268600.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: valid
path: data/valid-*
- split: test
path: data/test-*
---

数据集信息：
特征：
- 名称：input_ids
序列类型：int64
拆分：
- 名称：train
字节数：79904941740.0
样本数：76203
- 名称：valid
字节数：4438639140.0
样本数：4233
- 名称：test
字节数：4439687720.0
样本数：4234
下载大小：20243739815
数据集大小：88783268600.0
配置：
- 配置名称：default
数据文件：
- 拆分：train
路径：data/train-*
- 拆分：valid
路径：data/valid-*
- 拆分：test
路径：data/test-*

原始信息汇总

数据集概述

数据集特征

• 名称: input_ids
• 序列类型: int64

数据集分割

• 训练集
  • 示例数量: 76203
  • 字节数: 79904941740.0
• 验证集
  • 示例数量: 4233
  • 字节数: 4438639140.0
• 测试集
  • 示例数量: 4234
  • 字节数: 4439687720.0

数据集大小

• 下载大小: 20243739815
• 数据集总大小: 88783268600.0

配置文件

• 配置名称: default
• 数据文件路径
  • 训练集: data/train-*
  • 验证集: data/valid-*
  • 测试集: data/test-*