Tristan/olm-october-2022-tokenized-1024-no-bigscience-filters

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 79176169656.0
num_examples: 12861626
download_size: 21440888036
dataset_size: 79176169656.0
---
# Dataset Card for "olm-october-2022-tokenized-1024-no-bigscience-filters"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 名称：输入ID（input_ids），序列类型：int32
- 名称：注意力掩码（attention_mask），序列类型：int8
- 名称：特殊Token掩码（special_tokens_mask），序列类型：int8
数据集划分：
- 名称：训练集（train），字节数：79176169656.0，样本数量：12861626
下载大小：21440888036
数据集存储大小：79176169656.0

# 「olm-october-2022-tokenized-1024-no-bigscience-filters」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: olm-october-2022-tokenized-1024-no-bigscience-filters

数据集特征

• 特征1: input_ids

  • 数据类型: int32
  • 序列类型: 序列

• 特征2: attention_mask

  • 数据类型: int8
  • 序列类型: 序列

• 特征3: special_tokens_mask

  • 数据类型: int8
  • 序列类型: 序列

数据集分割

• 分割名称: train
  • 数据大小: 79176169656.0 字节
  • 样本数量: 12861626

数据集大小

• 下载大小: 21440888036 字节
• 总数据大小: 79176169656.0 字节