joey00072/pretokenized__roneneldan_TinyStories__microsoft__phi-2

这是一个包含input_ids和attention_mask特征的数据集，分为训练集和验证集两部分，总大小约为76077331.90字节。训练集包含67289个样本，验证集包含592个样本。

This dataset includes features of input_ids and attention_mask, split into training and validation sets, with a total size of approximately 76077331.90 bytes. The training set contains 67289 samples, and the validation set contains 592 samples.

原始信息汇总

数据集概述

特征

• input_ids: 序列类型为 int32
• attention_mask: 序列类型为 int8

数据分割

• train:
  • 字节数: 75434035.59480195
  • 样本数: 67289
• validation:
  • 字节数: 643296.3019554343
  • 样本数: 592

数据大小

• 下载大小: 69113311 字节
• 数据集大小: 76077331.89675738 字节

配置

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*