nicholasbien/custom-txt-tokenized-gpt2

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 13811767
num_examples: 2042
- name: test
num_bytes: 3399576
num_examples: 511
download_size: 2514434
dataset_size: 17211343
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

数据集信息：
1. 特征列表：
- 字段名：text，数据类型：字符串
- 字段名：input_ids，数据类型：int32类型的输入ID（Token）序列
- 字段名：attention_mask，数据类型：int8类型的注意力掩码序列
2. 数据集划分：
- 训练集（train）：数据字节量为13811767，共包含2042条样本
- 测试集（test）：数据字节量为3399576，共包含511条样本
3. 整体参数：下载大小为2514434，数据集总大小为17211343
4. 配置信息：
- 默认配置（default）：对应的数据文件路径为：训练集指向"data/train-*"，测试集指向"data/test-*"

原始信息汇总

数据集信息

特征

• text: 数据类型为字符串。
• input_ids: 数据类型为32位整数序列。
• attention_mask: 数据类型为8位整数序列。

数据分割

• train:
  • 字节数: 13811767
  • 样本数: 2042
• test:
  • 字节数: 3399576
  • 样本数: 511

数据大小

• 下载大小: 2514434 字节
• 数据集大小: 17211343 字节

配置

• default:
  • train: 文件路径为 data/train-*
  • test: 文件路径为 data/test-*