pbelcak/pmc-train-1400000-to-1500000-GemmaTokens

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 6907945887
num_examples: 1396829
download_size: 2373338724
dataset_size: 6907945887
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：输入ID（input_ids），为数据类型int32的序列
- 名称：注意力掩码（attention_mask），为数据类型int8的序列
数据集划分：
- 名称：训练集（train），占用字节数：6907945887，样本数量：1396829
下载大小：2373338724
数据集总存储大小：6907945887
配置项：
- 配置名称：默认配置（default）
数据文件：
- 对应数据集划分：训练集，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• input_ids：整数序列，数据类型为int32。
• attention_mask：整数序列，数据类型为int8。

数据集分割

• 训练集（train）：
  • 样本数量：1396829
  • 数据大小：6907945887字节

数据集大小与下载大小

• 下载大小：2373338724字节
• 数据集总大小：6907945887字节

配置信息

• 配置名称：default
• 数据文件路径：
  • 分割类型：train
  • 文件路径模式：data/train-*