richardgalvez/bert-pretokenized-512-wiki-2023
收藏Hugging Face2026-03-09 更新2026-03-29 收录
下载链接：
https://hf-mirror.com/datasets/richardgalvez/bert-pretokenized-512-wiki-2023
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 9532634400
num_examples: 2647954
download_size: 2670965022
dataset_size: 9532634400
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
512 seq_len version of `nomic-ai/nomic-bert-pretokenized-2048-wiki-2023`
数据集信息：
特征字段：
- 名称：输入ID（input_ids）：元素类型为int32的序列
- 名称：Token类型ID（token_type_ids）：元素类型为int8的序列
- 名称：注意力掩码（attention_mask）：元素类型为int8的序列
- 名称：特殊Token掩码（special_tokens_mask）：元素类型为int8的序列
数据划分：
- 训练集（train）：字节大小为9532634400，样本总量为2647954
下载大小：2670965022 字节
数据集存储大小：9532634400 字节
配置项：
- 默认配置（default）：数据文件配置为训练集拆分，文件路径为 data/train-*
本数据集为 `nomic-ai/nomic-bert-pretokenized-2048-wiki-2023` 的 512 序列长度（seq_len）版本
提供机构：
richardgalvez
