KPrashanth/my_gpt2_finetune_dataset

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 323184909.6
num_examples: 1600000
- name: validation
num_bytes: 40398113.7
num_examples: 200000
- name: test
num_bytes: 40398113.7
num_examples: 200000
download_size: 205404025
dataset_size: 403981137.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集信息：
特征项：
- 字段名称：text，数据类型：字符串
- 字段名称：input_ids，即输入ID序列，数据类型为int32序列
- 字段名称：attention_mask，即注意力掩码序列，数据类型为int8序列
- 字段名称：labels，即标签序列，数据类型为int64序列
数据集划分：
- 划分名称：train（训练集），占用字节数：323184909.6，样本数量：1600000
- 划分名称：validation（验证集），占用字节数：40398113.7，样本数量：200000
- 划分名称：test（测试集），占用字节数：40398113.7，样本数量：200000
下载总大小：205404025，数据集总存储大小：403981137.0
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分train：数据路径为data/train-*
- 划分validation：数据路径为data/validation-*
- 划分test：数据路径为data/test-*

原始信息汇总

数据集概述

数据集特征

• text: 文本类型，字符串格式。
• input_ids: 序列数据，整型，类型为int32。
• attention_mask: 序列数据，整型，类型为int8。
• labels: 序列数据，整型，类型为int64。

数据集分割

• 训练集 (train):
  • 样本数量: 1600000
  • 数据大小: 323184909.6字节
• 验证集 (validation):
  • 样本数量: 200000
  • 数据大小: 40398113.7字节
• 测试集 (test):
  • 样本数量: 200000
  • 数据大小: 40398113.7字节

数据集大小

• 下载大小: 205404025字节
• 数据集总大小: 403981137.0字节

配置文件

• 默认配置 (default):
  • 训练集路径: data/train-*
  • 验证集路径: data/validation-*
  • 测试集路径: data/test-*