train_tokenizer_data

kaggle2023-09-25 更新2024-03-11 收录

下载链接：

https://www.kaggle.com/datasets/king12138/tokenizer-data

下载链接

链接失效反馈

官方服务：

资源简介：

创建时间：

2023-09-22

bilingual-tokenizer-training-data

该数据集是一个多语言文本集合，包含多种语言和文字组合的配置（如拉丁字母书写的南非荷兰语、埃塞俄比亚字母书写的阿姆哈拉语等）。每个配置包含一个字符串类型的'text'字段，所有数据均为'train'分割。数据集提供了每个语言子集（通常每个语言有3个子集）的精确字节大小、样本数量、下载大小和数据集大小。技术规格完整，但未说明数据收集目的、方法或内容特征。

Hugging Face2026-02-10 更新30

andersonbcdefg/bert-long-training-data-tokenized

--- dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: token_type_ids sequence: int8 splits: - name: train num_bytes: 1

Hugging Face2024-05-25 更新30

Token Classification Trained Longformer

kaggle2022-02-12 更新00

catherinearnett/bilingual-tokenizer-training-data

--- dataset_info: - config_name: afr_Latn_subset_1 features: - name: text dtype: string splits: - name: train num_bytes: 524687226 num_examples: 133023 download_size: 319847528

Hugging Face2026-02-21 更新30

train_test_tokens

kaggle2021-07-18 更新00