somosnlp-hackathon-2022/Axolotl-Spanish-Nahuatl

Axolotl Spanish-Nahuatl平行语料库是一个数字语料库，汇集了多种来源的西班牙语和纳瓦特尔语平行文本。平行语料库是一种包含源语言文本及其在一种或多种目标语言中的对应翻译的语料库。该语料库由墨西哥国立自治大学（UNAM）的专家团队创建，旨在支持西班牙语和纳瓦特尔语之间的机器翻译任务。数据集来源于Axolotl和Bible UEDIN Nahuatl Spanish语料库，经过清理和去重后，最终包含20,028个样本。数据集的应用包括使用T5模型进行西班牙语到纳瓦特尔语的翻译任务。The Axolotl Spanish-Nahuatl Parallel Corpus is a digital corpus that aggregates parallel texts in Spanish and Nahuatl from multiple sources. A parallel corpus is a corpus containing source language texts and their corresponding translations in one or more target languages. This corpus was developed by a team of experts from the National Autonomous University of Mexico (UNAM) to support machine translation tasks between Spanish and Nahuatl. The corpus is derived from the Axolotl and Bible UEDIN Nahuatl Spanish corpora, and after cleaning and deduplication, it ultimately contains 20,028 samples. Applications of this corpus include Spanish-to-Nahuatl machine translation tasks using the T5 model.

原始信息汇总

Axolotl-Spanish-Nahuatl 数据集概述

数据集描述

• 名称: Axolotl Spanish-Nahuatl 平行语料库
• 类型: 平行语料库，包含西班牙语和纳瓦特尔语的平行文本
• 语言:
  • 源语言: 西班牙语 (es)
  • 目标语言: 纳瓦特尔语
• 许可证: MPL-2.0
• 多语言性: 翻译
• 任务类别:
  • 文本到文本生成
  • 翻译
• 数据集来源: 原始数据
• 数据集大小: 未知
• 数据集收集:
  • 来源1: Axolotl，由UNAM的专家团队收集
  • 来源2: Bible UEDIN Nahuatl Spanish，由Christos Christodoulopoulos和Mark Steedman从Bible Gateway网站爬取
• 数据集样本数:
  • Axolotl: 12,207样本
  • Bible UEDIN: 7,821样本
  • 总计: 20,028条语音

团队成员

• Emilio Morales (milmor)
• Rodrigo Martínez Arzate (rockdrigoma)
• Luis Armando Mercado (luisarmando)
• Jacobo del Valle (jjdv)

应用

• 模型: 西班牙语到纳瓦特尔语翻译任务，使用T5模型 (t5-small-spanish-nahuatl)
• 演示: 西班牙语到纳瓦特尔语翻译 (Spanish-nahuatl)

搜集汇总

数据集介绍

构建方式

该数据集名为Axolotl-Spanish-Nahuatl，是一个面向西班牙语与纳瓦特尔语机器翻译任务的平行语料库。在构建过程中，研究团队整合了当前最为完备的两个双语平行语料来源：其一为由墨西哥国立自治大学（UNAM）专家团队精心编纂的Axolotl语料库，其二为由Christodoulopoulos与Steedman从Bible Gateway网站抓取的Bible UEDIN纳瓦特尔语-西班牙语平行语料。经过严格的清洗与对齐处理，剔除原始数据中存在的错位及西班牙语与纳瓦特尔语列中的重复文本后，最终从Axolotl获得12,207条有效样本，从Bible UEDIN获得7,821条样本，合计构成20,028条高质量平行语句。

使用方法

该数据集主要面向文本生成与翻译任务，可直接用于训练序列到序列的神经机器翻译模型。使用者可基于Hugging Face的Datasets库进行加载，将其拆分为训练集与验证集，并配合如T5等预训练语言模型进行微调。具体而言，社区已基于该数据集训练了t5-small-spanish-nahuatl模型，并部署了在线演示应用，支持西班牙语与纳瓦特尔语之间的实时翻译。研究人员也可依据自身需求，对数据格式进行适配，将其应用于跨语言信息检索、双语词典构建或语言进化分析等下游任务。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的机器翻译始终是极具挑战性的研究方向，尤其是对于纳瓦特尔语这类濒危语言而言，平行语料的匮乏严重制约了相关技术的突破。Axolotl-Spanish-Nahuatl数据集由墨西哥国立自治大学语言学工程小组于2016年创建，旨在构建首个大规模、高质量的西班牙语-纳瓦特尔语平行语料库。该数据集整合了Axolotl语料库与圣经语料两大来源，经过专家团队的严格清洗与对齐，最终形成约两万条平行句对，为低资源神经机器翻译研究提供了关键数据支撑。作为该语言对领域最具影响力的公开资源，它不仅推动了纳瓦特尔语的数字化保护，更成为评估跨语言迁移学习与数据增强方法的重要基准，对濒危语言技术发展具有深远意义。

当前挑战

该数据集面临的核心挑战体现在多个维度。首先，纳瓦特尔语作为孤立语种，其形态复杂性与西班牙语差异巨大，现有神经翻译模型难以有效捕捉跨语言间的语法与语义映射，导致翻译质量受限。其次，数据构建过程中面临语料来源分散、对齐精度不足的困境，原始Axolotl数据因错位与重复问题损失近半样本，最终仅保留约1.2万条有效句对，数据稀缺性成为模型泛化的主要瓶颈。此外，圣经语料存在文体单一、词汇范围狭窄的缺陷，可能引入领域偏差，影响模型在非宗教文本上的表现。这些挑战共同制约了西班牙语-纳瓦特尔语机器翻译系统的实际应用效果。

常用场景

经典使用场景

Axolotl-Spanish-Nahuatl平行语料库是低资源语言机器翻译领域的珍贵资源，专为西班牙语与纳瓦特尔语之间的文本生成与翻译任务而设计。该数据集整合了来自墨西哥国立自治大学专家团队构建的Axolotl语料库以及圣经平行文本，经过严格清洗与对齐，最终汇聚约两万条高质量平行句对。其经典使用场景在于训练序列到序列的神经机器翻译模型，尤其是基于T5架构的翻译系统，为濒危语言的数字化保护与跨语言信息传递提供了可靠的数据基石。

解决学术问题

该数据集直面低资源语言对的翻译质量瓶颈，解决了纳瓦特尔语因缺乏大规模平行语料而难以开展统计或神经机器翻译研究的核心难题。通过提供经过专家校验的双语对齐数据，它使得研究者能够突破数据稀疏性的限制，探索迁移学习、预训练模型微调等前沿方法在极度资源匮乏场景下的有效性。这一贡献不仅推动了计算语言学对美洲原住民语言的系统性研究，也深化了对语言类型学差异下翻译模型泛化能力的理解，具有重要的学术范式意义。

实际应用

在实际应用中，该数据集支撑了面向纳瓦特尔语社群的语言技术工具开发，例如西班牙语与纳瓦特尔语之间的实时翻译演示系统。这些工具可服务于墨西哥及中美洲地区的双语教育、文化遗产数字化记录以及官方文件的双语化处理，帮助纳瓦特尔语使用者更便捷地获取现代信息服务。同时，该数据集也为其他低资源语言的语料库构建与翻译系统研发提供了可复现的技术路线与基准参考。

数据集最近研究

最新研究方向

在神经机器翻译的前沿探索中，低资源语言对的平行语料库构建与模型优化成为核心议题。Axolotl-Spanish-Nahuatl数据集聚焦于西班牙语与纳瓦特尔语这一濒危语言对的翻译任务，通过整合墨西哥国立自治大学专家团队收集的Axolotl语料库及圣经语料，经过去重与对齐清洗，最终汇聚约2万条高质量平行句对。该数据集不仅服务于文本生成与翻译任务，更推动了T5等预训练模型在低资源场景下的微调实践，已衍生出面向西班牙语-纳瓦特尔语的专用翻译模型与交互式演示系统。这一工作呼应了全球范围内对原住民语言数字化保护与多语言技术普惠的迫切需求，为濒危语言在人工智能时代的存续与传播提供了可复用的数据基石与技术范式。