mhr2004/plm-train-tokenized

--- dataset_info: features: - name: text dtype: string - name: label dtype: int64 - name: input_ids sequence: int32 - name: attention_mask sequence: int8 splits: - name: train num_bytes: 10146324025 num_examples: 10871988 download_size: 3828153144 dataset_size: 10146324025 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征： - 名称：text，数据类型：字符串（string） - 名称：label，数据类型：64位整数（int64） - 名称：input_ids，数据类型：32位整数序列（sequence: int32） - 名称：attention_mask，数据类型：8位整数序列（sequence: int8） 数据拆分： - 拆分名称：train（训练集），字节大小：10146324025，样本数量：10871988 下载大小：3828153144 数据集总大小：10146324025 配置项： - 配置名称：default（默认配置），数据文件： - 拆分：train（训练集），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text：文本类型，数据类型为字符串。
• label：标签，数据类型为整数64位。
• input_ids：输入ID，数据类型为整数32位，序列类型。
• attention_mask：注意力掩码，数据类型为整数8位，序列类型。

数据集分割

• train：训练集，包含10871988个样本，占用存储空间10146324025字节。

数据集大小与下载信息

• 下载大小：3828153144字节。
• 数据集总大小：10146324025字节。

配置信息

• 配置名称：default
• 数据文件路径：
  • split：train
  • path：data/train-*