language-identification

Language Identification dataset 汇集了 9 万个文本段落及其对应语言标签的样本。它支持多语言环境下的文本分类任务，尤其适用于训练语言识别模型。该数据集由来自 Multilingual Amazon Reviews Corpus、XNLI 和 STSb Multi MT 三个来源的数据整合而成，包含 20 种语言的文本。数据集分为训练集（7 万样本）、验证集和测试集（各 1 万样本），每个分割都保持了语言的平衡性。