merged_tokenizer

kaggle2023-10-31 更新2024-03-08 收录

下载链接：

https://www.kaggle.com/datasets/king12138/merged-tokenizer

下载链接

链接失效反馈

官方服务：

资源简介：

merged_tokenizer based on 790,000 Chinese characters training and original llama

创建时间：

2023-09-24

amaniopia/flores_merged_tokenized

--- dataset_info: features: - name: input_ids list: int32 - name: labels list: int64 - name: attention_mask list: int8 splits: - name: train num_bytes: 199439880 num_ex

Hugging Face2025-12-19 更新70

eastwind/libri_mls_merged_snac_tokenized

该数据集包含多个特征字段，如文本、原始文本、说话者ID、语速、音素、性别、音高、噪声、混响、语音单调性、文本描述和SNAC标记等。数据集仅包含训练集，训练集的大小为28927332929字节，包含2737179个样本。下载大小为6910433812字节，数据集总大小为28927332929字节。

Hugging Face2024-06-28 更新230

eastwind/libri_mls_merged_snac_tokenized_clear_only

该数据集包含多个与语音相关的特征，如文本、原始文本、说话者ID、语速、音素、性别、音高、噪声、混响、语音单调性、文本描述、SNAC标记及其数量等。数据集被分为训练集、验证集和测试集，每个部分都有相应的文件大小和样本数量。

Hugging Face2024-06-28 更新350

Ba2han/merged-multi-tokenized

该数据集包含了两个分割的数据部分，分别为split_0和split_1。每个部分都由input_ids和attention_mask两种类型的特征构成，其中input_ids是整数列表，attention_mask是字节数据列表。split_0包含大约1802万个示例，split_1包含约519万个示例。

Hugging Face2025-10-17 更新60

amaniopia/merged_train_plus_kd_tokenized

--- configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: input_ids list: int32 - name: labels list: int64 - name: atten

Hugging Face2025-12-19 更新30