AFRIDOC-MT

AFRIDOC-MT是由Masakhane NLP团队创建的一个文档级多语言平行翻译数据集，旨在填补非洲低资源语言在文档级机器翻译领域的空白。该数据集包含605个文档，涵盖健康和信息技术两个领域，每个语言对包含10,000个句子。数据来源于Techpoint Africa和世界卫生组织的英文文章，经过人工翻译和严格的质量控制。AFRIDOC-MT不仅支持英语与非洲语言之间的翻译，还支持非洲语言之间的多向翻译。该数据集的应用领域包括机器翻译模型的训练与评估，特别是在文档级翻译任务中，旨在解决低资源语言在长文档翻译中的一致性和连贯性问题。AFRIDOC-MT is a document-level multilingual parallel translation dataset developed by the Masakhane NLP team, which aims to fill the research gap in document-level machine translation for low-resource African languages. This dataset contains 605 documents across two domains: healthcare and information technology, with 10,000 sentences per language pair. The source data is extracted from English articles published by Techpoint Africa and the World Health Organization, and has undergone manual translation and strict quality control. AFRIDOC-MT supports not only translation between English and African languages, but also multi-directional translation among various African languages. This dataset can be applied to the training and evaluation of machine translation models, especially for document-level translation tasks, with the core goal of addressing the consistency and coherence issues of low-resource languages in long-document translation scenarios.

搜集汇总

数据集介绍

构建方式

AFRIDOC-MT数据集的构建基于从Techpoint Africa和世界卫生组织（WHO）网站上抓取的英文文章，涵盖健康和信息技术两个领域。文章经过人工翻译成五种非洲语言：阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语。为确保翻译质量，数据集经过自动化质量估计和人工审查，最终分为训练集、开发集和测试集，确保数据不泄露。

特点

AFRIDOC-MT数据集包含334篇健康领域和271篇信息技术领域的文档，每对语言包含10,000个句子。该数据集支持多向翻译，不仅涵盖英语与非洲语言之间的翻译，还支持非洲语言之间的互译。数据集的特点在于其文档级别的翻译任务，能够捕捉跨句子的上下文关系，提升翻译的一致性和连贯性。

使用方法

AFRIDOC-MT数据集可用于文档级和句子级的机器翻译任务。由于大多数模型的上下文长度限制，文档通常被分割为伪文档进行翻译，翻译后再重新对齐为完整文档。数据集的使用方法包括对神经机器翻译模型（NMT）和大语言模型（LLM）的评估，支持自动评估指标和人工评估代理（如GPT-4o）的结合使用。

背景与挑战

背景概述

AFRIDOC-MT是由Masakhane NLP团队与多个国际研究机构合作创建的文档级多语言平行翻译数据集，涵盖英语与五种非洲语言（阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语）之间的翻译。该数据集创建于2025年，旨在填补低资源非洲语言在文档级机器翻译领域的空白。AFRIDOC-MT包含334篇健康领域和271篇信息技术领域的新闻文档，所有文档均由人工从英语翻译成目标语言。该数据集不仅支持英语与非洲语言之间的翻译，还支持非洲语言之间的多向翻译。AFRIDOC-MT的推出为非洲语言的文档级翻译研究提供了重要的数据支持，推动了低资源语言机器翻译的发展。

当前挑战

AFRIDOC-MT面临的挑战主要包括两个方面：首先，文档级翻译本身具有较高的复杂性，尤其是在处理长文档时，模型需要捕捉跨句子的上下文信息，以保持翻译的一致性和连贯性。现有的翻译模型在处理长文档时往往受限于上下文长度，导致翻译质量下降。其次，构建AFRIDOC-MT数据集的过程中，翻译质量的控制和语言资源的稀缺性也是主要挑战。非洲语言的翻译资源相对匮乏，且部分语言具有独特的语言特征（如阿姆哈拉语的非拉丁字母和约鲁巴语的音调标记），这增加了翻译的难度。此外，翻译过程中还需要确保术语的一致性和领域适应性，尤其是在健康和信息技术等专业领域。

常用场景

经典使用场景

AFRIDOC-MT数据集主要用于文档级机器翻译任务，特别是在非洲语言的翻译领域。该数据集涵盖了英语与五种非洲语言（阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语）之间的多向翻译，适用于健康和信息技术领域的文档翻译。通过该数据集，研究人员可以训练和评估神经机器翻译（NMT）模型和大语言模型（LLM）在文档级翻译任务中的表现，尤其是在处理长文档时的上下文一致性。

实际应用

AFRIDOC-MT数据集在实际应用中具有广泛的价值。首先，它可以用于开发多语言翻译系统，特别是在非洲地区的健康和信息技术领域，帮助跨语言的信息传播和知识共享。其次，该数据集可以用于训练和优化翻译模型，提升非洲语言的翻译质量，促进这些语言在数字内容中的使用。此外，AFRIDOC-MT还可以用于评估大语言模型在低资源语言翻译中的表现，推动这些模型在非洲语言中的应用。

衍生相关工作

AFRIDOC-MT数据集衍生了一系列相关研究工作。首先，基于该数据集的研究推动了文档级神经机器翻译模型的发展，特别是在处理长文档时的上下文建模。其次，AFRIDOC-MT为低资源非洲语言的翻译任务提供了基准，促进了这些语言在机器翻译领域的研究。此外，该数据集还激发了对大语言模型在低资源语言翻译中的表现的研究，推动了这些模型在非洲语言中的应用和优化。