该数据集是一个多语言文本数据集，包含超过5000万句子，涵盖100多种语言。数据来源于Common Crawl语料库，并通过GlotLID模型进行语言分类。为了优化低资源语言的识别，使用了Gherbal语言识别模型，特别是针对摩洛哥阿拉伯语。数据集包含多个配置，每个配置对应不同的语言。处理过程包括文本清理、句子分割、语言检测和过滤。最终的数据集可用于训练和评估摩洛哥阿拉伯语的模型。

Hugging Face2024-12-08 更新160

Michielo/Merged-LID-20

语言识别

自然语言处理

Merged-LID-20数据集是一个优化用于构建和训练语言识别模型的数据集集合，包含20种语言的特定数据集。每种语言的数据集包括文本数据和对应的语言标签，适用于多语言自然语言处理任务中的语言识别。

Hugging Face2025-01-17 更新120

Language Identifier

语言识别

音频分类

Dataset to conduct audio classification based on language.

kaggle2023-11-29 更新180

Lots-of-LoRAs/task441_eng_guj_parallel_corpus_gu-en_language_identification

多语言文本处理

语言识别

task441_eng_guj_parallel_corpus_gu-en_language_identification是一个众包创建的英文文本生成数据集，包含了输入、输出和id三个字段，分为训练集、验证集和测试集，分别包含5200、650和650个样本。数据集的详细描述和用法可以在相关的论文中找到。

Hugging Face2025-01-01 更新130

24 Letter of SIBI Sign Language

资源简介：

相关数据集