AyNio/TinyStories-CodeGen-Tokenized

该数据集包含两个主要特征：input_ids和attention_mask。input_ids表示输入序列的整数编码，attention_mask表示注意力掩码。数据集分为训练集和验证集，训练集包含2119719个样本，验证集包含21990个样本。

The dataset contains two main features: input_ids and attention_mask. input_ids represents the integer encoding of the input sequence, and attention_mask represents the attention mask. The dataset is divided into a training set and a validation set, with the training set containing 2,119,719 samples and the validation set containing 21,990 samples.

原始信息汇总

数据集概述

许可证

• Apache 2.0

数据集信息

特征

• input_ids: 序列类型为 int32
• attention_mask: 序列类型为 int8

数据分割

• train:
  • 字节数: 2376301602
  • 样本数: 2119719
• validation:
  • 字节数: 23895415
  • 样本数: 21990

数据大小

• 下载大小: 815352520
• 数据集总大小: 2400197017

配置

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*