slone/nllb-200-10M-sample

该数据集是从NLLB-200挖掘数据集中抽取的近1000万句对样本，使用了facebook/blaser-2.0-qe模型进行评分。样本并非随机抽取，而是从每个翻译方向中选取前n个句对，目的是对包含较少代表语言的翻译方向进行上采样。数据集包含187种语言和文字组合，大多数语言组合的句对数量在36K到200K之间。超过60%的句对BLASER-QE评分高于3.5。该数据集可用于微调大规模多语言翻译模型，并提供了使用建议。数据集发布在ODC-BY许可下，并引用了相关的研究论文。This dataset consists of nearly 10 million sentence pair samples extracted from the NLLB-200 mined dataset, and scored using the facebook/blaser-2.0-qe model. The samples are not randomly selected; instead, the top-n sentence pairs from each translation direction are chosen, with the objective of upsampling translation directions that feature underrepresented languages. The dataset covers 187 language-script combinations, with the number of sentence pairs for most of these combinations falling between 36,000 and 200,000. Over 60% of the sentence pairs achieve a BLASER-QE score greater than 3.5. This dataset can be utilized for fine-tuning large-scale multilingual translation models, with accompanying usage guidelines provided. The dataset is released under the ODC-BY license, with relevant research papers referenced.

原始信息汇总

数据集概述

数据集名称

nllb-200-10M-sample

数据集描述

这是一个从NLLB-200挖掘的数据集中抽取的近1000万句子对样本，使用facebook/blaser-2.0-qe模型进行评分，该模型在《SeamlessM4T》论文中描述。样本并非随机抽取，而是从每个翻译方向中选取了前n个句子对，目的是对包含较少语言的方向进行上采样。尽管如此，187种语言和脚本组合的句子对数量并不均匀，大多数语言和脚本组合的句子对数量在36,000到200,000之间。超过60%的句子对的BLASER-QE评分高于3.5。

数据集用途

该数据集可用于微调大规模多语言翻译模型。建议的使用场景包括：

• 根据blaser_sim值过滤数据集（推荐的阈值为3.0或3.5）；
• 在数据加载过程中随机交换源/目标角色；
• 使用这些数据增强数据集，同时为新的翻译方向微调NLLB类模型，以减轻对其他翻译方向的遗忘。

数据集结构

特征

• laser_score: 类型为float64
• lang1: 类型为string
• text1: 类型为string
• lang2: 类型为string
• text2: 类型为string
• blaser_sim: 类型为float64

分割

• train: 包含9,983,398个样本，大小为2,279,333,006字节

数据集大小

• 下载大小: 1,825,697,094字节
• 数据集大小: 2,279,333,006字节

配置

• default配置包含train分割的数据文件路径为data/train-*

许可证

ODC-BY

任务类别

翻译

大小类别

1M<n<10M

支持的语言

数据集支持多种语言，包括但不限于：

• ak (aka_Latn Akan)
• am (amh_Ethi Amharic)
• ar (arb_Arab Modern Standard Arabic)
• ...
• zu (zul_Latn Zulu)

引用

• NLLB Team et al, No Language Left Behind: Scaling Human-Centered Machine Translation, Arxiv https://arxiv.org/abs/2207.04672, 2022.
• Seamless Communication et al, SeamlessM4T — Massively Multilingual & Multimodal Machine Translation, Arxiv https://arxiv.org/abs/2308.11596, 2023.

搜集汇总

数据集介绍

构建方式

在机器翻译领域，高质量平行语料库的构建是推动多语言翻译模型发展的基石。该数据集源自NLLB-200大规模挖掘语料库，通过引入先进的评估机制对原始语料进行精炼。具体而言，研究团队利用SeamlessM4T项目中提出的facebook/blaser-2.0-qe模型，对每个翻译方向上的句子对进行质量评分，继而从每个方向中提取评分最高的前n个句子对。这一非随机采样策略旨在提升低资源语言的代表性，最终汇聚成近千万句对的样本集合，覆盖了187种语言与书写系统的组合。

使用方法

该数据集专为大规模多语言翻译模型的微调而设计，其使用策略强调灵活性与鲁棒性。推荐做法是首先根据blaser_sim字段进行阈值过滤，建议采用3.0或3.5作为质量分界线；随后在数据加载过程中随机交换源语言和目标语言的角色，以增强模型对双向翻译任务的适应能力。通过将此数据集作为增强数据融入新翻译方向的微调流程，可有效缓解模型在扩增语言能力时对原有翻译方向的灾难性遗忘问题。

背景与挑战

背景概述

该数据集由Meta AI的研究团队于2022年创建，源自其里程碑式的NLLB-200项目，旨在推动机器翻译技术覆盖全球200种语言，打破语言壁垒。核心研究问题聚焦于如何在海量低资源语言之间构建高质量的平行语料，以支撑大规模多语言翻译模型的训练。作为NLLB-200挖掘语料的一个精选子集，该采样数据集包含了近1000万句对，覆盖187种语言与文字组合，并利用SeamlessM4T论文中的BLASER-2.0质量评估模型进行评分。其发布为多语言翻译研究提供了宝贵资源，尤其助力于低资源语言方向的微调与遗忘缓解，对自然语言处理领域产生了深远影响。

当前挑战

该数据集所面临的核心挑战在于其构建过程中遭遇的领域难题。首先，NLLB-200项目需要解决机器翻译中最棘手的低资源语言数据匮乏问题，即如何从互联网中有效挖掘并筛选出覆盖广泛语种的高质量平行句对，这要求算法具备处理噪声、跨语言对齐及质量控制的强大能力。其次，在构建此采样数据集时，研究者必须应对非均匀采样带来的代表性偏差，即通过上采样低资源语言方向来平衡语料分布，但此举仍无法确保各语言对获得完全平等的表征，导致部分语种句对数量悬殊。此外，依赖BLASER-QE评分进行过滤虽提升了整体质量，但评分阈值的选择（如3.0或3.5）需在数据规模与纯度间谨慎权衡，稍有不慎便可能引入低质样本或丢失有用信息。

常用场景

经典使用场景

在神经机器翻译领域，slone/nllb-200-10M-sample数据集以其覆盖187种语言与文字组合的庞大规模，成为微调大规模多语言翻译模型的瑰宝。研究者常采用其中经BLASER-QE质量评估模型打分的句子对，通过设定blaser_sim阈值（如3.0或3.5）筛选高质量数据，并在训练时随机交换源语言与目标语言角色，以增强模型对多方向翻译任务的泛化能力。该数据集尤其适用于在已有NLLB-200模型基础上扩展新翻译方向时，作为数据增强手段，有效缓解灾难性遗忘问题，从而维持模型对既有语言对的翻译性能。

解决学术问题

该数据集直面低资源语言机器翻译的数据稀缺困境，通过提供近千万句对，显著缓解了训练数据不平衡的学术难题。它使得研究者能够系统性地探索多语言翻译中的知识迁移机制，例如在微调过程中如何保持模型对高资源与低资源语言的均衡表现。其包含的BLASER-QE评分还为翻译质量自动评估提供了可靠基准，推动了无参考质量估计算法的发展。这一资源的发布，极大地促进了包容性机器翻译技术的进步，让全球语言社区在数字时代不再被边缘化。

实际应用

在实际应用中，该数据集赋能了跨语言信息检索系统，使搜索引擎能精准处理阿坎语、班巴拉语等小众语言的查询请求。它也被用于构建多语言客服机器人，在金融、医疗等垂直领域实现实时翻译，例如将尼泊尔语的患者问诊记录转化为英语供专家分析。此外，在社交媒体内容审核中，该数据集训练的模型能够识别并翻译西非富拉语等罕见语言的违规内容，助力构建更安全的网络环境。这些应用场景无不彰显数据集在打破语言壁垒、促进全球信息流通中的核心价值。

数据集最近研究

最新研究方向

当前，大规模多语言机器翻译领域的前沿研究聚焦于如何高效利用高质量、低资源语言平行语料以缓解模型在微调过程中的灾难性遗忘问题。slone/nllb-200-10M-sample数据集作为NLLB-200挖掘语料的一个精心采样版本，通过非随机方式优先选取每个翻译方向中质量最高的句对，并采用BLASER-2.0-QE模型进行评分过滤，为研究提供了覆盖187种语言变体、超过60%句对评分高于3.5的优质数据。该数据集紧密关联Meta团队提出的“不让任何语言掉队”倡议，其设计初衷在于支持对NLLB类模型进行新翻译方向的微调时，通过数据增强策略维持模型在其他语言对上的泛化能力。这一研究方向对于推动全球语言平等、促进低资源语言的数字化生存具有深远意义，为构建真正普惠的多语言翻译系统奠定了关键的数据基础。