KPrashanth/my_gpt2_finetune_dataset_1M

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 167752286.4
num_examples: 800000
- name: validation
num_bytes: 20969035.8
num_examples: 100000
- name: test
num_bytes: 20969035.8
num_examples: 100000
download_size: 106899710
dataset_size: 209690358.00000003
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

原始信息汇总

数据集概述

数据特征

• text: 文本数据，数据类型为字符串。
• input_ids: 序列数据，数据类型为int32。
• attention_mask: 序列数据，数据类型为int8。
• labels: 序列数据，数据类型为int64。

数据分割

• train: 训练集，包含800,000个样本，大小为167,752,286.4字节。
• validation: 验证集，包含100,000个样本，大小为20,969,035.8字节。
• test: 测试集，包含100,000个样本，大小为20,969,035.8字节。

数据集大小

• 下载大小: 106,899,710字节。
• 总数据集大小: 209,690,358.00000003字节。

配置信息

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*
    • test: data/test-*