rokset3/slimpajama

--- dataset_info: features: - name: text dtype: string - name: meta struct: - name: redpajama_set_name dtype: string splits: - name: train num_bytes: 23874206724 num_examples: 5489000 download_size: 13962151299 dataset_size: 23874206724 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "slimpajama" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征字段： - 字段名：text，数据类型：字符串 - 字段名：meta，为结构体类型，包含子字段： - 子字段名：redpajama_set_name，数据类型：字符串 数据集划分： - 划分名称：train，该划分的磁盘占用字节数：23874206724，样本总数：5489000 下载文件总大小：13962151299 数据集解压后磁盘总占用字节数：23874206724 配置项： - 配置名称：default，数据文件配置： - 对应划分：train，文件路径：data/train-* --- # 「Slimpajama」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据特征

• text: 数据类型为字符串。
• meta: 结构化数据，包含以下字段：
  • redpajama_set_name: 数据类型为字符串。

数据分割

• train: 包含5,489,000个样本，总字节数为23,874,206,724。

数据大小

• 下载大小: 13,962,151,299字节。
• 数据集大小: 23,874,206,724字节。

配置

• default:
  • 数据文件:
    • split: train
    • path: data/train-*