ZurabDz/tokenized_large_corpus_v2

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 6701093568
num_examples: 14442012
download_size: 2431678404
dataset_size: 6701093568
---
# Dataset Card for "tokenized_large_corpus_v2"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征列表：
- 特征名称：输入Token ID（input_ids），数据格式：序列，数据类型：32位整数（int32）
- 特征名称：Token类型ID（token_type_ids），数据格式：序列，数据类型：8位整数（int8）
- 特征名称：注意力掩码（attention_mask），数据格式：序列，数据类型：8位整数（int8）
- 特征名称：特殊Token掩码（special_tokens_mask），数据格式：序列，数据类型：8位整数（int8）
数据划分：
- 划分名称：训练集（train），占用字节数：6701093568，样本总数：14442012
下载总大小：2431678404
数据集本体总大小：6701093568
---
## 「tokenized_large_corpus_v2」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: tokenized_large_corpus_v2

数据集特征

• 特征列表:
  • input_ids: 序列类型为int32
  • token_type_ids: 序列类型为int8
  • attention_mask: 序列类型为int8
  • special_tokens_mask: 序列类型为int8

数据集分割

• 训练集:
  • 样本数量: 14442012
  • 数据大小: 6701093568字节

数据集大小

• 下载大小: 2431678404字节
• 总数据大小: 6701093568字节