awettig/Pile-ArXiv-0.5B-6K-opt

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 6500959920
num_examples: 81380
- name: test
num_bytes: 64945692
num_examples: 813
download_size: 1581567196
dataset_size: 6565905612
---
# Dataset Card for "Pile-ArXiv-0.5B-6K-opt"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
dataset_info:
数据集特征:
- 输入ID序列（input_ids）：类型为int32的序列
- 注意力掩码（attention_mask）：类型为int8的序列
- 标签（labels）：类型为int64的序列
数据拆分:
- 训练集（train）：占用字节数6500959920，样本数量81380
- 测试集（test）：占用字节数64945692，样本数量813
下载大小：1581567196 字节
总数据集大小：6565905612 字节
---
# “Pile-ArXiv-0.5B-6K-opt”数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

Pile-ArXiv-0.5B-6K-opt

数据集特征

• input_ids：序列类型为int32。
• attention_mask：序列类型为int8。
• labels：序列类型为int64。

数据集分割

• 训练集：
  • 样本数量：81380
  • 数据大小：6500959920 字节
• 测试集：
  • 样本数量：813
  • 数据大小：64945692 字节

数据集大小

• 下载大小：1581567196 字节
• 数据集总大小：6565905612 字节