SEACrowd/nllb_seed

NLLB Seed数据集是一组来自维基百科领域的专业翻译句子。该数据集从维基百科的“每个维基百科应该有的文章列表”中抽取，涵盖了不同领域的知识。NLLB Seed包含大约6000个句子，涉及39种语言。该数据集主要用于机器翻译任务的训练，而非模型评估，因此未经过FLORES-200中的人类质量保证过程。

The NLLB Seed dataset is a corpus of professionally translated sentences sourced from the Wikipedia domain. It is extracted from the "List of articles every Wikipedia should have" on Wikipedia, covering knowledge across a wide range of domains. The dataset comprises approximately 6,000 sentences spanning 39 languages. It is primarily intended for training machine translation models rather than model evaluation, and thus has not undergone the human quality assurance process used in FLORES-200.

原始信息汇总

Nllb Seed 数据集概述

数据集简介

Nllb Seed 是一组在维基百科领域内专业翻译的句子集合。数据采样自维基媒体的“每个维基百科应有的文章列表”，这是一个涵盖不同知识领域和人类活动的主题集合。Nllb Seed 包含约六千个句子，涵盖39种语言。该数据集旨在用于训练而非模型评估。因此，Nllb Seed 不经过 FLORES-200 中的人工质量保证流程。

语言

• ace
• bjn
• bug
• eng

支持的任务

• 机器翻译

数据集使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/nllb_seed", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("nllb_seed", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("nllb_seed"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

Nllb Seed 数据集主页

数据集版本

• 源版本：1.0.0
• SEACrowd 版本：2024.06.20

数据集许可证

CC-BY-SA 4.0

引用

如果您在使用 Nllb Seed 数据加载器，请引用以下内容： plaintext @article{nllb2022, author = {NLLB Team, Marta R. Costa-jussà, James Cross, Onur Çelebi, Maha Elbayad, Kenneth Heafield, Kevin Heffernan, Elahe Kalbassi, Janice Lam, Daniel Licht, Jean Maillard, Anna Sun, Skyler Wang, Guillaume Wenzek, Al Youngblood, Bapi Akula, Loic Barrault, Gabriel Mejia Gonzalez, Prangthip Hansanti, John Hoffman, Semarley Jarrett, Kaushik Ram Sadagopan, Dirk Rowe, Shannon Spruit, Chau Tran, Pierre Andrews, Necip Fazil Ayan, Shruti Bhosale, Sergey Edunov, Angela Fan, Cynthia Gao, Vedanuj Goswami, Francisco Guzmán, Philipp Koehn, Alexandre Mourachko, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Jeff Wang}, title = {No Language Left Behind: Scaling Human-Centered Machine Translation}, year = {2022} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，高质量平行语料库的构建是推动多语言翻译模型发展的基石。NLLB Seed数据集源自“No Language Left Behind”项目，其构建方式独具匠心：数据样本从维基百科的“每篇维基百科都应拥有的文章列表”中精心筛选，覆盖了人类知识与活动的多元领域。该数据集包含约六千条句子，涵盖包括亚齐语、文莱马来语、布吉语和英语在内的39种语言。每条句子均由专业翻译人员完成，确保了翻译质量的可靠性。值得注意的是，NLLB Seed主要面向训练场景，而非模型评估，因此其并未经历如FLORES-200那般严格的人工质量审核流程。

特点

NLLB Seed数据集的核心特点在于其专业性与多语言覆盖的广度。作为专为机器翻译训练设计的数据集，它聚焦于维基百科领域的句子，内容涵盖多个知识领域，为模型提供了丰富的语义与语境信息。数据集支持亚齐语、文莱马来语、布吉语与英语等多种语言对，特别关注低资源语言的翻译需求，体现了对语言多样性的尊重。此外，其采用CC-BY-SA 4.0许可证发布，确保了数据的开放性与可复用性，为研究者在低资源机器翻译任务中提供了宝贵的基础资源。

使用方法

使用NLLB Seed数据集进行机器翻译研究时，研究者可通过HuggingFace的datasets库便捷加载。具体而言，调用`datasets.load_dataset("SEACrowd/nllb_seed", trust_remote_code=True)`即可获取数据。此外，SEACrowd库提供了更灵活的接口：通过`seacrowd.load_dataset("nllb_seed", schema="seacrowd")`加载默认配置，或使用`seacrowd.available_config_names("nllb_seed")`查看所有子集，再以`seacrowd.load_dataset_by_config_name(config_name="<config_name>")`指定特定配置。这些方法均支持快速集成到现有工作流中，便于研究者进行模型训练与实验复现。

背景与挑战

背景概述

在自然语言处理领域，机器翻译技术长期受限于高资源语言之间的数据丰裕，而低资源语言，尤其是东南亚地区的亚齐语、文莱马来语、布吉语等，因缺乏大规模平行语料而面临发展瓶颈。为弥合这一鸿沟，Meta AI研究团队于2022年发起了“No Language Left Behind”（NLLB）项目，旨在推动人类中心化的机器翻译。作为该项目的重要组成部分，NLLB Seed数据集由Marta R. Costa-jussà、James Cross等众多研究人员共同创建，精心从维基百科的“每个维基百科都应拥有的文章列表”中采样，涵盖39种语言约六千句专业翻译的句子。该数据集聚焦于维基百科领域的翻译任务，为低资源语言机器翻译模型的训练提供了关键基础资源，其影响力在于推动多语言翻译的公平性与包容性，并为后续如FLORES-200等评估基准奠定了数据基石。

当前挑战

NLLB Seed数据集所面临的挑战多维且深刻。首先，在领域问题上，低资源语言的机器翻译长期受困于数据稀疏性，导致模型难以捕捉这些语言的语法结构、语义表达及文化特定词汇，翻译质量远低于英语等高资源语言，亟需高质量种子数据来启动翻译系统的学习过程。其次，在构建过程中，挑战尤为显著：从维基百科列表采样虽确保了知识覆盖面，但需在39种语言间保持句子语义的对齐与一致性，翻译的专业性要求极高；同时，数据集明确声明未经过如FLORES-200那样严格的人工质量审核流程，这意味着可能存在翻译误差或歧义，增加了训练噪声。此外，语言覆盖的广度与数据规模的有限性（仅约六千句）形成矛盾，如何在低资源情境下平衡数据代表性，避免过拟合或领域偏差，成为模型泛化能力的关键考验。

常用场景

经典使用场景

NLLB Seed数据集为机器翻译领域提供了涵盖亚齐语、文莱马来语、布吉语与英语等39种语言的专业翻译句子，其语料源自维基百科全球必读文章列表，横跨多元知识领域与人类活动范畴。该数据集最经典的使用场景在于为低资源语言机器翻译模型的预训练提供高质量种子数据，尤其聚焦于东南亚语种与英语之间的翻译任务。研究人员可借助这些约六千句的平行语料，在缺乏大规模监督数据的情况下，引导神经机器翻译模型学习跨语言映射关系，从而有效缓解低资源语言翻译的稀疏性问题，为后续模型微调与领域适应奠定坚实基础。

解决学术问题

该数据集精准回应了低资源语言机器翻译研究中标注数据匮乏的核心学术困境。在NLLB项目之前，亚齐语、文莱马来语、布吉语等小众语言几乎缺乏公开可用的专业翻译平行语料，导致相关翻译系统性能长期停滞。NLLB Seed通过提供覆盖百科领域、经过专业翻译的种子数据，使得研究者能够突破数据瓶颈，探索基于迁移学习、多任务学习或元学习的低资源翻译方法。其意义不仅在于填补了东南亚区域语言资源的空白，更在于推动了“不让任何语言掉队”这一包容性人工智能愿景的实现，为全球语言多样性保护提供了数据基础设施。

衍生相关工作

NLLB Seed数据集衍生了一系列具有影响力的学术工作。最为经典的是其所属的No Language Left Behind（NLLB）项目，该项目发布了涵盖200种语言的NLLB-200翻译模型，其中NLLB Seed作为核心训练数据之一，助力模型在低资源语言上取得显著突破。此外，SEACrowd数据枢纽将其整合为东南亚语言资源的一部分，催生了多模态与多语言基准测试的研究。研究者还基于该数据集探索了数据增强策略，如回译与噪声注入，以扩充种子语料规模，并进一步衍生出针对特定方言或领域（如法律、医疗）的翻译模型微调工作，推动了低资源机器翻译从理论走向实践应用的深度演进。