BELKA - Custom BPE Tokenizer

kaggle2024-06-14 更新2024-06-15 收录

下载链接：

https://www.kaggle.com/datasets/garuda23/belka-custom-bpe-tokenizer

下载链接

链接失效反馈

官方服务：

资源简介：

创建时间：

2024-06-14

BPE Tokenizer

kaggle2024-04-01 更新00

libritts-bpe-tokens

libritts-bpe-tokens是一个基于LibriTTS-R语音数据集的文本token表示数据集。它使用GPT-2 BPE分词器对LibriTTS-R的标准化文本转录进行处理，为每个话语生成token ID序列，并在序列末尾添加EOS token（ID为50256），词汇表大小为50,257。数据集遵循原始LibriTTS-R的分割结构，包含约538小时的音频对应文本，分为四个标准子集：t

Hugging Face2026-05-15 更新10

belka ds tfrec tokens 1000000 0409

kaggle2024-04-08 更新00

belka custom

kaggle2024-04-06 更新00

Trelis/libritts-bpe-tokens

libritts-bpe-tokens数据集是LibriTTS-R数据集中文本归一化转录的GPT-2 BPE（字节对编码）令牌集合。每个话语以EOS令牌（50256）结束，令牌以列表形式存储在`token_ids`列中，词汇表大小为50,257。数据集包含约538小时的音频内容，分拆为train.clean.100（约32,000个话语、53小时）、train.clean.360（约112,000

Hugging Face2026-05-15 更新00