Tristan/olm-october-2022-tokenized

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 84051313200.0
num_examples: 23347587
download_size: 21176572924
dataset_size: 84051313200.0
---
# Dataset Card for "olm-october-2022-tokenized-olm-bert-base-uncased"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 名称：输入标识符（input_ids），类型为int32的序列
- 名称：令牌类型标识符（token_type_ids），类型为int8的序列
- 名称：注意力掩码（attention_mask），类型为int8的序列
- 名称：特殊令牌掩码（special_tokens_mask），类型为int8的序列
数据集划分：
- 名称：训练集（train），占用字节数：84051313200.0，样本总数：23347587
下载大小：21176572924
数据集总大小：84051313200.0
---
# 「olm-october-2022-tokenized-olm-bert-base-uncased」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: olm-october-2022-tokenized-olm-bert-base-uncased

数据集特征

• input_ids: 序列类型为int32
• token_type_ids: 序列类型为int8
• attention_mask: 序列类型为int8
• special_tokens_mask: 序列类型为int8

数据集分割

• train:
  • 样本数量: 23347587
  • 数据大小: 84051313200.0字节

数据集大小

• 下载大小: 21176572924字节
• 总数据大小: 84051313200.0字节