pbelcak/pmc-train-1800000-to-1900000-GemmaTokens

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 7101225985
num_examples: 1434510
download_size: 2425040938
dataset_size: 7101225985
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：输入ID序列（input_ids），序列类型为int32（32位整数）
- 名称：注意力掩码（attention_mask），序列类型为int8（8位整数）
数据集拆分：
- 拆分名称：train（训练集），字节占用量：7101225985，样本总数：1434510
下载大小：2425040938 字节
数据集总大小：7101225985 字节
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应拆分：train，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• input_ids

  • 数据类型：int32
  • 序列类型：sequence

• attention_mask

  • 数据类型：int8
  • 序列类型：sequence

数据集分割

• train
  • 示例数量：1434510
  • 数据大小：7101225985字节

数据集大小与下载大小

• 下载大小：2425040938字节
• 数据集大小：7101225985字节

配置信息

• config_name: default
  • data_files
    • split: train
      • path: data/train-*