NeelNanda/pile-tokenized-10b

--- dataset_info: features: - name: tokens sequence: uint16 splits: - name: train num_bytes: 22153340700 num_examples: 10795975 download_size: 19746448291 dataset_size: 22153340700 --- # Dataset Card for "pile-tokenized-10b" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

pile-tokenized-10b

数据集特征

• 名称: tokens
• 序列类型: uint16

数据集分割

• 训练集:
  • 示例数量: 10795975
  • 数据大小: 22153340700 字节

数据集大小

• 下载大小: 19746448291 字节
• 总数据大小: 22153340700 字节