UdS-LSV/menyo20k_mt

MENYO-20k是一个多领域的平行语料库，包含从新闻文章、TED演讲、电影剧本、广播剧本、科技文本以及其他网络来源和专业翻译人员收集的文本。数据集包含20,100个平行句子，分为10,070个训练句子、3,397个开发句子和6,633个测试句子。数据集支持的任务是翻译，涉及的语言是英语和约鲁巴语。数据集的创建目的是为了提供一个标准化的评估数据集，用于低资源语言对的机器翻译研究。数据集的使用受到Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)许可的限制，禁止商业用途。

原始信息汇总

数据集概述

数据集简介

名称： MENYO-20k

描述： MENYO-20k 是一个多领域的平行语料库，包含从新闻文章、TED演讲、电影脚本、广播脚本、科技文本以及其他网络和专业翻译人员精选的短文中获取的文本。该数据集包含20,100个平行句子，分为10,070个训练句子、3,397个开发句子和6,633个测试句子（3,419个多领域、1,714个新闻领域和1,500个TED演讲脚本领域）。

语言： 英语（en）和约鲁巴语（yo）

许可证： CC BY-NC 4.0

多语言性： 翻译

任务类别： 翻译

数据集大小： 10K<n<100K

源数据集： 原始数据

数据集结构

数据实例

json { "translation": { "en": "Unit 1: What is Creative Commons?", "yo": "Ìdá 1: Kín ni Creative Commons?" } }

数据字段

• translation:
  • en: 英语句子
  • yo: 约鲁巴语句子

数据分割

• 训练集： 10070个样本，2551345字节
• 验证集： 3397个样本，870011字节
• 测试集： 6633个样本，1905432字节

数据集创建

标注创建者

• 专家生成
• 发现

语言创建者

• 发现

许可证信息

数据集采用Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)许可证。

引用信息

bibtex @inproceedings{adelani-etal-2021-effect, title = "The Effect of Domain and Diacritics in {Y}oruba{--}{E}nglish Neural Machine Translation", author = "Adelani, David and Ruiter, Dana and Alabi, Jesujoba and Adebonojo, Damilola and Ayeni, Adesina and Adeyemi, Mofe and Awokoya, Ayodele Esther and Espa{~n}a-Bonet, Cristina", booktitle = "Proceedings of the 18th Biennial Machine Translation Summit (Volume 1: Research Track)", month = aug, year = "2021", address = "Virtual", publisher = "Association for Machine Translation in the Americas", url = "https://aclanthology.org/2021.mtsummit-research.6", pages = "61--75", abstract = "Massively multilingual machine translation (MT) has shown impressive capabilities and including zero and few-shot translation between low-resource language pairs. However and these models are often evaluated on high-resource languages with the assumption that they generalize to low-resource ones. The difficulty of evaluating MT models on low-resource pairs is often due to lack of standardized evaluation datasets. In this paper and we present MENYO-20k and the first multi-domain parallel corpus with a especially curated orthography for Yoruba{--}English with standardized train-test splits for benchmarking. We provide several neural MT benchmarks and compare them to the performance of popular pre-trained (massively multilingual) MT models both for the heterogeneous test set and its subdomains. Since these pre-trained models use huge amounts of data with uncertain quality and we also analyze the effect of diacritics and a major characteristic of Yoruba and in the training data. We investigate how and when this training condition affects the final quality of a translation and its understandability.Our models outperform massively multilingual models such as Google ($+8.7$ BLEU) and Facebook M2M ($+9.1$) when translating to Yoruba and setting a high quality benchmark for future research.", }

搜集汇总

数据集介绍

构建方式

MENYO-20k数据集专为约鲁巴语-英语神经机器翻译研究而构建，旨在填补低资源语言对标准化评估数据的空白。该数据集汇聚了来自新闻文章、TED演讲、电影脚本、广播转录、科技文本及网络精选短文的多元领域语料，经由专业翻译人员精心校对与整理，最终形成了包含20,100条平行句对的高质量语料库。数据集被系统划分为训练集（10,070句）、验证集（3,397句）和测试集（6,633句），其中测试集进一步细分为多领域（3,419句）、新闻领域（1,714句）和TED演讲领域（1,500句），以支持多维度性能评估。

使用方法

该数据集可通过Hugging Face Datasets库便捷加载，使用`load_dataset('UdS-LSV/menyo20k_mt')`命令即可获取预划分的训练、验证和测试子集。数据以字典形式组织，每个样本包含`translation`字段，内嵌`en`和`yo`两个语言键。研究人员可直接将其用于训练神经机器翻译模型，或作为基准测试集评估现有系统的性能。同时，数据集支持按领域子集（如新闻、TED）进行针对性分析，以深入探究领域差异对翻译质量的影响。

背景与挑战

背景概述

MENYO-20k数据集由萨尔布吕肯大学语言科学与技术系的David Adelani、Dana Ruiter、Jesujoba Alabi等研究人员于2021年创建，旨在填补低资源语言对约鲁巴语-英语机器翻译领域标准化评估数据的空白。在神经机器翻译技术蓬勃发展之际，多语言模型虽展现出强大能力，但低资源语言对的翻译质量评估常因缺乏统一基准而陷入困境。该数据集精心收集了来自新闻、TED演讲、电影字幕、科技文本等多领域的20,100条平行句对，并首次为约鲁巴语提供了规范的正字法标注。其研究不仅揭示了领域差异和变音符号对翻译质量的影响，更为低资源语言机器翻译研究设立了可复现的基准，推动了非洲语言在自然语言处理领域的学术关注。

当前挑战

该数据集所应对的核心挑战在于约鲁巴语-英语机器翻译中低资源瓶颈与领域泛化难题。约鲁巴语作为非洲主要语言，缺乏大规模高质量平行语料，且其变音符号系统对语义表达至关重要，却常被预处理流程忽略。构建过程中，团队需从新闻、TED演讲等异构来源收集数据，面临版权限制——如TED和JW新闻仅允许非商业使用，导致数据集采用CC BY-NC 4.0许可。此外，约鲁巴语正字法标准化不足，不同来源的拼写差异和变音符号缺失问题显著增加了对齐和清洗难度。最终数据集虽涵盖多领域，但新闻和TED演讲子域仍存在样本分布不均，对模型跨域泛化能力构成持续性挑战。

常用场景

经典使用场景

MENYO-20k作为首个面向约鲁巴语-英语的多领域平行语料库，其经典使用场景在于为低资源神经机器翻译提供标准化的基准测试平台。该数据集整合了新闻、TED演讲、电影字幕、科技文本等多元领域语料，共计20,100句平行句对，并精心划分了训练、验证和测试子集。研究者可利用这一资源系统评估不同架构的翻译模型在约鲁巴语这一形态复杂语言上的表现，尤其关注变音符号对翻译质量的影响，从而推动低资源语言机器翻译的实证研究。

解决学术问题

该数据集有效解决了低资源语言对机器翻译研究中长期存在的评估标准缺失问题。以往因缺乏统一、多领域的基准测试集，学界难以客观比较不同模型在约鲁巴语-英语翻译任务上的性能。MENYO-20k通过提供标准化切分和人工校验的双语数据，使得研究者能够严谨地分析领域迁移、变音符号处理等关键学术问题，为低资源神经机器翻译的理论探索提供了可靠的数据基础，显著提升了该方向实验的可重复性与结论的可信度。

实际应用

在实际应用中，MENYO-20k赋能了约鲁巴语-英语翻译系统的开发与优化，直接服务于尼日利亚及西非地区超过2000万约鲁巴语使用者的跨语言信息获取需求。该数据集训练的翻译模型可被集成到新闻阅读、教育平台、医疗咨询等场景中，帮助用户突破语言壁垒。此外，其多领域特性使得翻译系统能够适应从正式新闻到日常对话的多样化文本风格，为面向非洲语言的商业翻译工具和公共服务本地化提供了关键技术支撑。

数据集最近研究

最新研究方向

当前，低资源语言机器翻译领域的前沿探索聚焦于如何突破数据稀缺与语言特殊性带来的瓶颈。MENYO-20k数据集作为首个面向约鲁巴语-英语的多领域平行语料库，其构建不仅填补了西非语言神经机器翻译标准化评估的空白，更通过精细化的正字法标注与领域细分（新闻、TED演讲、科技文本等），为研究领域迁移、变音符号对翻译质量的影响提供了关键实验平台。该数据集的出现直接回应了大规模多语言模型在低资源场景下泛化能力不足的痛点，其基准实验表明，针对性训练的模型在约鲁巴语翻译上可超越Google与Facebook的通用模型8.7至9.1个BLEU值，这一成果显著推动了低资源语言神经机器翻译从‘可用’向‘精准’的跨越，也为非洲语言数字化保护与全球信息无障碍传播提供了技术基石。