ian-m/processed_bert_dataset-datalore

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 24902388000.0
num_examples: 6917330
download_size: 6083242697
dataset_size: 24902388000.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "processed_bert_dataset-datalore"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息:
特征字段:
- 名称: 输入Token ID序列（input_ids）
序列类型: int32
- 名称: Token类型ID（token_type_ids）
序列类型: int8
- 名称: 注意力掩码（attention_mask）
序列类型: int8
- 名称: 特殊Token掩码（special_tokens_mask）
序列类型: int8
数据划分:
- 名称: 训练集（train）
占用字节数: 24902388000.0
样本总数: 6917330
下载大小: 6083242697
数据集总大小: 24902388000.0
配置项:
- 配置名称: 默认配置（default）
数据文件:
- 数据划分: 训练集（train）
文件路径: data/train-*
---
# "processed_bert_dataset-datalore"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

特征信息

• input_ids: 序列类型为 int32
• token_type_ids: 序列类型为 int8
• attention_mask: 序列类型为 int8
• special_tokens_mask: 序列类型为 int8

数据分割

• train: 包含 6917330 个样本，数据大小为 24902388000.0 字节

数据大小

• 下载大小: 6083242697 字节
• 数据集大小: 24902388000.0 字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*