rokset3/slimpajama

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: redpajama_set_name
dtype: string
splits:
- name: train
num_bytes: 23874206724
num_examples: 5489000
download_size: 13962151299
dataset_size: 23874206724
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "slimpajama"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 字段名：text，数据类型：字符串
- 字段名：meta，为结构体类型，包含子字段：
- 子字段名：redpajama_set_name，数据类型：字符串
数据集划分：
- 划分名称：train，该划分的磁盘占用字节数：23874206724，样本总数：5489000
下载文件总大小：13962151299
数据集解压后磁盘总占用字节数：23874206724
配置项：
- 配置名称：default，数据文件配置：
- 对应划分：train，文件路径：data/train-*
---
# 「Slimpajama」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据特征

• text: 数据类型为字符串。
• meta: 结构化数据，包含以下字段：
  • redpajama_set_name: 数据类型为字符串。

数据分割

• train: 包含5,489,000个样本，总字节数为23,874,206,724。

数据大小

• 下载大小: 13,962,151,299字节。
• 数据集大小: 23,874,206,724字节。

配置

• default:
  • 数据文件:
    • split: train
    • path: data/train-*