OpenLID-v3

OpenLID-v3是OpenLID-v2数据集的更新版本，专为训练高覆盖率的语言识别模型而设计。该数据集覆盖194种语言变体及一个非语言类别，其语言变体标签与FLORES+评估基准兼容。每个数据实例包含三个字段：`text`（文本行）、`language`（由ISO 639-3语言代码和ISO 15924文字代码组成的语言标签，例如spa_Latn）、`source`（表示数据来源的标签）。数据集仅提供训练分割。该资源旨在解决现有语言识别工具在区分密切相关的语言以及过滤噪声方面的挑战，特别关注了三组密切相关的语言（如波斯尼亚语、克罗地亚语和塞尔维亚语；意大利北部和法国南部的罗曼语变体；斯堪的纳维亚语言），并贡献了新的评估数据集。使用该数据集时需注意：它涵盖了许多服务不足的语言，但由于数据量和领域的限制，应避免过度宣称其性能或覆盖范围；语言识别本身是一种规范性活动，可能边缘化少数民族方言、文字或微语言，且模型在不同语言上的性能不均衡，可能影响下游任务。数据集许可允许非商业用途的开放使用，具体许可信息在仓库的`licenses`目录中。OpenLID-v3 is an updated version of the OpenLID-v2 dataset, designed for training high-coverage language identification models. It covers 194 language varieties and one non-language category, with language variety labels compatible with the FLORES+ evaluation benchmark. Each data instance includes three fields: `text` (text line), `language` (a language label composed of ISO 639-3 language code and ISO 15924 script code, e.g., spa_Latn), and `source` (a label indicating the data source). The dataset provides only a training split. This resource aims to address challenges in existing language identification tools, such as distinguishing closely related languages and filtering noise, with a particular focus on three groups of closely related languages (e.g., Bosnian, Croatian, and Serbian; Romance varieties in Northern Italy and Southern France; Scandinavian languages), and contributes new evaluation datasets. When using this dataset, note that it includes many underserved languages, but due to limitations in data volume and domain, overclaiming its performance or coverage should be avoided; language identification itself is a normative activity that may marginalize minority dialects, scripts, or microlanguages, and model performance varies across languages, which may affect downstream tasks. The dataset license permits open use for non-commercial purposes, with specific license information in the repositorys `licenses` directory.

原始信息汇总

数据集概述

OpenLID-v3 是一个用于语言识别（Language Identification, LID）的数据集，是 OpenLID-v2 的更新版本。

基本信息

• 数据集名称: OpenLID-v3
• 许可证: 其他 (详见 licenses 目录)
• 任务: 文本分类 (text-classification)
• 语言覆盖: 194 种语言变体 + 非语言类别（not-a-language class），语言标签兼容 FLORES+ 评估基准
• 仓库: https://github.com/hplt-project/openlid
• 论文: OpenLID-v3: Improving the Precision of Closely Related Language Identification – An Experience Report

数据集结构

• 数据实例: 每条数据包含三个字段：

  • text: 文本内容
  • language: 由 ISO 639-3 语言代码 + ISO 15924 文字代码组成的语言标签（例如 "spa_Latn"）
  • source: 数据来源标签（例如 "lti"）

• 数据划分: 仅提供训练集（train split）

使用与引用

• 加载方式: python from datasets import load_dataset ds = load_dataset(HPLT/OpenLID-v3, split=train)

• 训练脚本: 提供 训练脚本 用于准备数据集以训练语言识别模型

• 引用信息: 使用该数据集时需引用相关论文及来源数据集的作者，详见 citations.bib 文件

注意事项

• 社会影响: 数据集覆盖了许多低资源语言，但数据量和领域有限，需注意不要夸大性能或覆盖范围
• 偏见讨论: 语言识别本身具有规范性，可能排除少数方言、文字或微语言；模型在不同语言上的性能不均衡，可能影响特定群体的下游任务表现
• 许可信息: 各来源数据的许可证详见 licenses 目录，所有许可证均覆盖非商业用途的开放使用

搜集汇总

数据集介绍

构建方式

OpenLID-v3数据集是在OpenLID-v2基础上迭代升级的产物，旨在提升高覆盖度语言识别模型的性能。其构建过程融合了多源数据，针对近义语言识别精度不足和噪声干扰两大痛点，通过扩充训练数据、合并易混淆语言变体簇，并引入专门标记噪声的标签类别，系统性地优化了数据质量。该数据集覆盖了194种语言变体及一个非语言类别，每个条目由文本内容、ISO 639-3语言代码结合ISO 15924文字代码标注的语言标签以及数据来源标记构成，为训练鲁棒的语言识别模型提供了坚实基础。

特点

该数据集的核心特点在于其广泛的覆盖范围与对近义语言识别精度的显著提升。它不仅囊括了大量低资源语言，还特别聚焦于波斯尼亚语、克罗地亚语、塞尔维亚语等三组近义语言变体，以及北欧和南法罗曼语支等易混淆语种，通过混合学习策略有效降低了误判率。此外，数据集中引入了非语言类标签以过滤噪声，并保留了来源标记以确保数据可溯源性。其标签体系与FLORES+基准兼容，便于跨研究场景的评估与比较。

使用方法

数据集的使用极为便捷，用户可通过HuggingFace的datasets库直接加载训练集，如执行'from datasets import load_dataset; ds = load_dataset("HPLT/OpenLID-v3", split="train")'。项目仓库提供了专用脚本以帮助用户将数据适配至语言识别模型训练流程。需要注意的是，本数据集仅包含训练拆分，用户在使用时需自行划分验证集。鉴于部分低资源语言数据量有限，研究者应审慎评估模型在不同语言上的性能偏差，避免过度宣称覆盖能力。

背景与挑战

背景概述

语言识别（Language Identification, LID）是多语言自然语言处理流水线中的关键前置步骤，其性能直接影响到下游任务在低资源语言上的表现。OpenLID-v3数据集由欧洲HPLT项目团队于2026年发布，核心研究问题在于提升对密切关联语言与噪声文本的区分精度。该数据集覆盖194种语言变体，整合了多源单语语料，并引入特殊的非语言标签以识别噪声。其发布不仅拓展了多语言覆盖范围，还为低资源语言的数据筛选提供了更可靠的基础，在学术界推动了VarDial等语言变体识别领域的发展。该数据集与FLORES+基准兼容，进一步提高了其对多语言研究的影响力。

当前挑战

该数据集所解决的领域挑战在于提升对高度相似语言（如波斯尼亚语、克罗地亚语、塞尔维亚语）的区分能力，降低现有系统在低资源语言上的高误报率，并有效过滤非自然语言噪声。在构建过程中，研究者面临多重困难：其一，收集并精确标注稀有语言变体的真实单语数据极为困难；其二，不同数据源之间存在许可差异，需逐一核查以合规开放；其三，语言标签本身具有规范性，选择覆盖哪些语言变体可能无意中强化族群间的权力不平衡。此外，模型在不同语言上的性能不均，可能导致对特定群体的下游服务偏差加剧。

常用场景

经典使用场景

OpenLID-v3数据集作为多语言文本分类领域的典范资源，其核心应用在于训练高覆盖率的语言识别模型。该数据集覆盖了194种语言变体及非语言类别，每个样本均以ISO 639-3语言代码结合ISO 15924文字代码进行标注，为跨语言文本处理提供了精细的粒度。研究者借助该数据集可构建能够区分高度相似语言的分类器，例如波斯尼亚语、克罗地亚语与塞尔维亚语之间的甄别，以及罗曼语族中北意大利与南法变体的识别，从而显著提升多语言文本预处理环节的准确性。

实际应用

在实际应用中，OpenLID-v3成为构建高质量多语言网络语料库的基石。它被广泛用于从海量网页数据中自动筛选并分类不同语言的文本，为机器翻译、跨语言信息检索、多语言情感分析等下游任务提供洁净的输入。例如，在构建低资源语言的平行语料或单语语料时，该数据集训练的识别器能有效降低误筛风险，避免噪声污染，从而显著提升语言处理系统的鲁棒性和覆盖面。

衍生相关工作

基于OpenLID-v3数据集，研究社区衍生了一系列卓有成效的后续工作。其前身OpenLID模型和数据集即已在201种语言上实现宏观平均F1得分0.93及0.033%的极低假阳性率，成为多个NLP流水线的标准组件。此外，该数据集衍生出了多种针对紧密相关语言识别优化的集成学习方法，以及一系列融合了噪声检测的新型LID架构，这些工作共同推动了语言识别领域从粗粒度向细粒度的演化。