TrevorDohm/Pile_TokLlama

--- dataset_info: features: - name: text dtype: string - name: input_ids sequence: int32 - name: attention_mask sequence: int8 splits: - name: train num_bytes: 1783692993174 num_examples: 134210712 download_size: 787651425537 dataset_size: 1783692993174 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "Pile_TokLlama" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

Pile_TokLlama

数据集特征

• text: 数据类型为字符串。
• input_ids: 数据类型为int32，具有序列性质。
• attention_mask: 数据类型为int8，具有序列性质。

数据集分割

• train: 包含134210712个样本，占用1783692993174字节。

数据集大小

• 下载大小: 787651425537字节
• 数据集总大小: 1783692993174字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*