Tristan/olm-october-2022-tokenized-1024-suffix-array-dedup

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 81147320856
num_examples: 13181826
download_size: 21892490583
dataset_size: 81147320856
---
# Dataset Card for "olm-october-2022-tokenized-1024-suffix-array-dedup"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- `input_ids`：int32类型的序列（输入Token ID序列）
- `attention_mask`（注意力掩码）：int8类型的序列
- `special_tokens_mask`（特殊Token掩码）：int8类型的序列
拆分集：
- 训练集（`train`）：字节占用量为81147320856，样本总数为13181826
下载大小：21892490583
数据集总大小：81147320856

# 数据集卡片：olm-october-2022-tokenized-1024-suffix-array-dedup

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: olm-october-2022-tokenized-1024-suffix-array-dedup

数据集特征

• 特征1: input_ids
  • 数据类型: int32
  • 序列类型: 序列
• 特征2: attention_mask
  • 数据类型: int8
  • 序列类型: 序列
• 特征3: special_tokens_mask
  • 数据类型: int8
  • 序列类型: 序列

数据集分割

• 分割名称: train
  • 数据大小: 81147320856字节
  • 样本数量: 13181826

数据集大小

• 下载大小: 21892490583字节
• 总数据大小: 81147320856字节