yardeny/processed_gpt2_context_len_32

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 6553598856.0
num_examples: 39009517
download_size: 3075892759
dataset_size: 6553598856.0
---
# Dataset Card for "processed_gpt2_context_len_32"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 数据集信息
特征字段：
- 输入序列ID（input_ids）：类型为int32序列
- 注意力掩码（attention_mask）：类型为int8序列
数据集划分：
- 划分类型：训练集（train），占用字节数为6553598856.0，样本数量为39009517
下载大小：3075892759
数据集本体总大小：6553598856.0

# "processed_gpt2_context_len_32"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征:
  • input_ids: 序列类型，数据类型为int32
  • attention_mask: 序列类型，数据类型为int8

数据分割

• 训练集:
  • 字节数: 6553598856.0
  • 样本数: 39009517

数据集大小

• 下载大小: 3075892759字节
• 数据集大小: 6553598856.0字节