Hikam22/newprocessed_bert_dataset

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 8629178400.0
num_examples: 2396994
download_size: 2322333334
dataset_size: 8629178400.0
---
# Dataset Card for "newprocessed_bert_dataset"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 字段名：输入标记ID（input_ids），序列数据类型：int32
- 字段名：片段标记ID（token_type_ids），序列数据类型：int8
- 字段名：注意力掩码（attention_mask），序列数据类型：int8
- 字段名：特殊标记掩码（special_tokens_mask），序列数据类型：int8
数据集划分：
- 划分名称：训练集（train），占用字节数：8629178400.0，样本总量：2396994
下载大小：2322333334
数据集总大小：8629178400.0

# "newprocessed_bert_dataset"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: newprocessed_bert_dataset

数据集特征

• 特征列表:
  • input_ids: 数据类型为int32，序列类型。
  • token_type_ids: 数据类型为int8，序列类型。
  • attention_mask: 数据类型为int8，序列类型。
  • special_tokens_mask: 数据类型为int8，序列类型。

数据集分割

• 训练集:
  • 样本数量: 2396994
  • 数据大小: 8629178400.0 字节

数据集大小

• 下载大小: 2322333334 字节
• 总数据大小: 8629178400.0 字节