gmongaras/BERT_Base_Cased_128_Dataset_Mapped
收藏Hugging Face2024-02-03 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/gmongaras/BERT_Base_Cased_128_Dataset_Mapped
下载链接
链接失效反馈官方服务：
资源简介：
该数据集使用了bert-cased分词器，并将句子截断为128长度（非句子对），所有句子对均被提取。原始数据集来源于BookCorpus和Wikipedia（20220301.en版本）。数据集的特征包括input_ids、token_type_ids和attention_mask，均为序列类型。数据集的分割为train，包含131,569,119个样本，下载大小为15,915,934,708字节，数据集大小为51,067,549,265.998314字节。
该数据集使用了bert-cased分词器，并将句子截断为128长度（非句子对），所有句子对均被提取。原始数据集来源于BookCorpus和Wikipedia（20220301.en版本）。数据集的特征包括input_ids、token_type_ids和attention_mask，均为序列类型。数据集的分割为train，包含131,569,119个样本，下载大小为15,915,934,708字节，数据集大小为51,067,549,265.998314字节。
提供机构：
gmongaras
原始信息汇总
数据集概述
特征信息
- input_ids: 序列类型为int32
- token_type_ids: 序列类型为int8
- attention_mask: 序列类型为int8
数据分割
- train:
- 字节数: 51067549265.998314
- 样本数: 131569119
数据大小
- 下载大小: 15915934708
- 数据集大小: 51067549265.998314
配置信息
- config_name: default
- data_files:
- split: train
- path: data/train-*
- data_files:
数据集描述
- 使用bert-cased分词器，句子长度截断为128（非句子对），所有句子对已提取。
