AFRIDOC-MT|机器翻译数据集|低资源语言数据集

AFRIDOC-MT是由Masakhane NLP团队创建的一个文档级多语言平行翻译数据集，旨在填补非洲低资源语言在文档级机器翻译领域的空白。该数据集包含605个文档，涵盖健康和信息技术两个领域，每个语言对包含10,000个句子。数据来源于Techpoint Africa和世界卫生组织的英文文章，经过人工翻译和严格的质量控制。AFRIDOC-MT不仅支持英语与非洲语言之间的翻译，还支持非洲语言之间的多向翻译。该数据集的应用领域包括机器翻译模型的训练与评估，特别是在文档级翻译任务中，旨在解决低资源语言在长文档翻译中的一致性和连贯性问题。

AI搜集汇总

数据集介绍

构建方式

AFRIDOC-MT数据集的构建基于从Techpoint Africa和世界卫生组织（WHO）网站上抓取的英文文章，涵盖健康和信息技术两个领域。文章经过人工翻译成五种非洲语言：阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语。为确保翻译质量，数据集经过自动化质量估计和人工审查，最终分为训练集、开发集和测试集，确保数据不泄露。

特点

AFRIDOC-MT数据集包含334篇健康领域和271篇信息技术领域的文档，每对语言包含10,000个句子。该数据集支持多向翻译，不仅涵盖英语与非洲语言之间的翻译，还支持非洲语言之间的互译。数据集的特点在于其文档级别的翻译任务，能够捕捉跨句子的上下文关系，提升翻译的一致性和连贯性。

使用方法

AFRIDOC-MT数据集可用于文档级和句子级的机器翻译任务。由于大多数模型的上下文长度限制，文档通常被分割为伪文档进行翻译，翻译后再重新对齐为完整文档。数据集的使用方法包括对神经机器翻译模型（NMT）和大语言模型（LLM）的评估，支持自动评估指标和人工评估代理（如GPT-4o）的结合使用。

背景与挑战

背景概述

AFRIDOC-MT是由Masakhane NLP团队与多个国际研究机构合作创建的文档级多语言平行翻译数据集，涵盖英语与五种非洲语言（阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语）之间的翻译。该数据集创建于2025年，旨在填补低资源非洲语言在文档级机器翻译领域的空白。AFRIDOC-MT包含334篇健康领域和271篇信息技术领域的新闻文档，所有文档均由人工从英语翻译成目标语言。该数据集不仅支持英语与非洲语言之间的翻译，还支持非洲语言之间的多向翻译。AFRIDOC-MT的推出为非洲语言的文档级翻译研究提供了重要的数据支持，推动了低资源语言机器翻译的发展。

当前挑战

AFRIDOC-MT面临的挑战主要包括两个方面：首先，文档级翻译本身具有较高的复杂性，尤其是在处理长文档时，模型需要捕捉跨句子的上下文信息，以保持翻译的一致性和连贯性。现有的翻译模型在处理长文档时往往受限于上下文长度，导致翻译质量下降。其次，构建AFRIDOC-MT数据集的过程中，翻译质量的控制和语言资源的稀缺性也是主要挑战。非洲语言的翻译资源相对匮乏，且部分语言具有独特的语言特征（如阿姆哈拉语的非拉丁字母和约鲁巴语的音调标记），这增加了翻译的难度。此外，翻译过程中还需要确保术语的一致性和领域适应性，尤其是在健康和信息技术等专业领域。

常用场景

经典使用场景

AFRIDOC-MT数据集主要用于文档级机器翻译任务，特别是在非洲语言的翻译领域。该数据集涵盖了英语与五种非洲语言（阿姆哈拉语、豪萨语、斯瓦希里语、约鲁巴语和祖鲁语）之间的多向翻译，适用于健康和信息技术领域的文档翻译。通过该数据集，研究人员可以训练和评估神经机器翻译（NMT）模型和大语言模型（LLM）在文档级翻译任务中的表现，尤其是在处理长文档时的上下文一致性。

实际应用

AFRIDOC-MT数据集在实际应用中具有广泛的价值。首先，它可以用于开发多语言翻译系统，特别是在非洲地区的健康和信息技术领域，帮助跨语言的信息传播和知识共享。其次，该数据集可以用于训练和优化翻译模型，提升非洲语言的翻译质量，促进这些语言在数字内容中的使用。此外，AFRIDOC-MT还可以用于评估大语言模型在低资源语言翻译中的表现，推动这些模型在非洲语言中的应用。

衍生相关工作

AFRIDOC-MT数据集衍生了一系列相关研究工作。首先，基于该数据集的研究推动了文档级神经机器翻译模型的发展，特别是在处理长文档时的上下文建模。其次，AFRIDOC-MT为低资源非洲语言的翻译任务提供了基准，促进了这些语言在机器翻译领域的研究。此外，该数据集还激发了对大语言模型在低资源语言翻译中的表现的研究，推动了这些模型在非洲语言中的应用和优化。