pbelcak/pmc-train-800000-to-900000-GemmaTokens

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 6107693103
num_examples: 1240921
download_size: 2107076426
dataset_size: 6107693103
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：输入Token标识 (input_ids)
序列：int32（32位整数）
- 名称：注意力掩码 (attention_mask)
序列：int8（8位整数）
数据集划分：
- 名称：训练集 (train)
占用字节数：6107693103
样本数量：1240921
下载大小：2107076426
数据集总存储大小：6107693103
数据集配置：
- 配置名称：默认配置 (default)
数据文件：
- 对应划分：训练集 (train)
路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• input_ids: 序列类型为int32。
• attention_mask: 序列类型为int8。

数据集划分

• 训练集（train）:
  • 样本数量: 1240921
  • 数据大小: 6107693103字节

数据集大小

• 下载大小: 2107076426字节
• 数据集总大小: 6107693103字节

配置信息

• 配置名称: default
• 数据文件路径:
  • 训练集路径: data/train-*