rakshya34/my-tokenized-train-dataset

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 36789135994
num_examples: 11827099
download_size: 4467557646
dataset_size: 36789135994
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：文本（text），数据类型：字符串（string）
- 名称：输入标识（input_ids），数据类型：int32类型序列
- 名称：注意力掩码（attention_mask），数据类型：int8类型序列
数据集划分：
- 名称：训练集（train），字节数：36789135994，样本总数：11827099
下载大小：4467557646
数据集总大小：36789135994
配置项：
- 配置名称：默认（default），数据文件：
- 数据集划分：训练集（train），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• input_ids：整数序列，类型为 int32
• attention_mask：整数序列，类型为 int8

数据集划分

• 训练集（train）：
  • 示例数量：11827099
  • 数据大小：36789135994 字节

数据集大小与下载信息

• 下载大小：4467557646 字节
• 数据集总大小：36789135994 字节

配置信息

• 配置名称：default
• 数据文件路径：
  • 训练集路径：data/train-*