pbelcak/pmc-train-3300000-to-3400000-GemmaTokens

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 7155449598
num_examples: 1445391
download_size: 2444871384
dataset_size: 7155449598
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：input_ids，类型为int32的序列
- 名称：attention_mask，类型为int8的序列
数据集划分：
- 划分名称：训练集，占用字节数：7155449598，样本总数：1445391
下载大小：2444871384
数据集总大小：7155449598
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应划分：训练集，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• input_ids：整数序列，数据类型为int32。
• attention_mask：整数序列，数据类型为int8。

数据集划分

• 训练集（train）：包含1445391个样本，总大小为7155449598字节。

数据集大小与下载信息

• 下载大小：2444871384字节。
• 数据集总大小：7155449598字节。

配置信息

• 配置名称：default
• 数据文件路径：
  • 训练集路径格式：data/train-*