nicholasbien/lakh-dataset-full-tokenized-gpt2

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 1478210437
num_examples: 13560
- name: test
num_bytes: 372102436
num_examples: 3390
download_size: 656067053
dataset_size: 1850312873
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

数据集信息：
特征：
- 字段名：text（文本），数据类型：字符串
- 字段名：input_ids（输入ID序列），数据类型：int32 序列
- 字段名：attention_mask（注意力掩码），数据类型：int8 序列
数据集划分：
- 划分名称：train（训练集），字节占用量：1478210437，样本总数：13560
- 划分名称：test（测试集），字节占用量：372102436，样本总数：3390
下载大小：656067053 字节
数据集总大小：1850312873 字节

配置项：
- 配置名称：default（默认配置），数据文件配置：
- 划分：train（训练集），数据路径：data/train-*
- 划分：test（测试集），数据路径：data/test-*

原始信息汇总

数据集概述

特征信息

• text: 数据类型为字符串。
• input_ids: 数据类型为整数序列，每个元素为32位整数。
• attention_mask: 数据类型为整数序列，每个元素为8位整数。

数据分割

• train: 包含13560个样本，总字节数为1478210437。
• test: 包含3390个样本，总字节数为372102436。

数据集大小

• 下载大小: 656067053字节。
• 数据集大小: 1850312873字节。

配置信息

• config_name: default
  • data_files:
    • train: 文件路径为data/train-*。
    • test: 文件路径为data/test-*。