awettig/Pile-Gutenberg-0.5B-6K-opt

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 6500959920
num_examples: 81380
- name: test
num_bytes: 64945692
num_examples: 813
download_size: 1706776857
dataset_size: 6565905612
---
# Dataset Card for "Pile-Gutenberg-0.5B-6K-opt"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 输入ID（input_ids）：类型为int32的序列
- 注意力掩码（attention_mask）：类型为int8的序列
- 标签（labels）：类型为int64的序列
数据集划分：
- 训练集（train）：数据字节数6500959920，样本总数81380
- 测试集（test）：数据字节数64945692，样本总数813
下载大小：1706776857字节
数据集总大小：6565905612字节
---
# “Pile-Gutenberg-0.5B-6K-opt”数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

Pile-Gutenberg-0.5B-6K-opt

数据集特征

• input_ids：整数序列，数据类型为int32。
• attention_mask：整数序列，数据类型为int8。
• labels：整数序列，数据类型为int64。

数据集分割

• 训练集：包含81380个样本，总大小为6500959920字节。
• 测试集：包含813个样本，总大小为64945692字节。

数据集大小

• 下载大小：1706776857字节。
• 总数据集大小：6565905612字节。