gmongaras/wikipedia_BERT_512

该数据集使用了bert-cased分词器，并将文本长度限制在512个标记以内。原始数据集来源于HuggingFace的Wikipedia数据集，具体版本为20220301.en。数据集的训练集包含6,458,670个样本，总大小为19,918,538,280字节。特征包括input_ids、token_type_ids和attention_mask，分别表示输入标记的ID序列、标记类型ID序列和注意力掩码序列。

原始信息汇总

数据集概述

配置信息

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • 名称: input_ids
    • 类型: int32 序列
  • 名称: token_type_ids
    • 类型: int8 序列
  • 名称: attention_mask
    • 类型: int8 序列
• 分割:
  • 名称: train
    • 字节数: 19918538280
    • 样本数: 6458670
• 下载大小: 4218892705
• 数据集大小: 19918538280

其他信息

• 原始数据集: https://huggingface.co/datasets/wikipedia
• 变体: 20220301.en