ALIA_syntethic_MT_V2

ALIA Synthetic MT V2是一个多语言平行语料库，专门为巴斯克语（Euskera）的机器翻译任务设计。数据集包含三个部分：1) Berria新闻语料，来自Berria新闻网站的337,650篇文档（2023-2025年），提供巴斯克语原文及使用Qwen3-32B和LatxaQ模型生成的英语和西班牙语合成翻译，并包含Sonar相似度评分；2) 巴斯克官方公报语料，包含27,130个法律和法规文本示例，源自巴斯克官方公报，附带丰富元数据和西班牙语翻译；3) 议会演讲语料，包含20,385个议会演讲文本，涵盖元数据信息及西班牙语翻译。数据集使用先进的大语言模型生成高质量合成翻译，其中LatxaQ模型针对巴斯克语言和文化进行了优化。适用于机器翻译训练与评估、合成数据实验及多语言NLP研究，但翻译可能包含模型伪影。采用CC-BY-SA-4.0许可证发布。ALIA Synthetic MT V2 is a multilingual parallel corpus specifically constructed for machine translation tasks involving Basque (Euskera). The dataset consists of three main components: 1) Berria news corpus, comprising 337,650 documents from the Berria news website (2023-2025), with Basque originals and synthetic translations in English and Spanish generated using Qwen3-32B and LatxaQ large language models, along with Sonar similarity scores for quality assessment; 2) Basque official gazette corpus, containing 27,130 legal and regulatory text examples from the Basque official gazette, with extensive metadata and Spanish translations; 3) Parliament speech corpus, with 20,385 parliamentary speech texts, including metadata and Spanish translations. The dataset leverages advanced LLMs to produce high-quality synthetic translations, with LatxaQ optimized for Basque linguistic and cultural features. It is suitable for machine translation model training and evaluation, synthetic data experiments, and multilingual NLP research, though translations may contain model-specific artifacts. Released under the CC-BY-SA-4.0 license.

原始信息汇总

数据集概述

• 名称: ALIA Synthetic MT V2 (ALIA_syntethic_MT_V2)
• 许可证: CC-BY-SA 4.0
• 语言: 巴斯克语 (eu)、英语 (en)、西班牙语 (es)
• 任务类别: 翻译 (translation)
• 数据集规模: 100K < n < 1M

数据集组成

该数据集包含三个子集（config）：

1. berria_eu_en_es (新闻)

   • 来源: Berria 新闻文章 (2023-2025年)
   • 翻译方式: 合成翻译（由Qwen3-32B和LatxaQ模型生成）
   • 样本数: 337,650
   • 数据字段:
     • id: 文档唯一标识符
     • doc_eu: 巴斯克语原文
     • doc_en: 合成英语翻译
     • doc_es: 合成西班牙语翻译
     • sonar_en_score: 巴斯克语与英语的Sonar相似度分数 (float64)
     • sonar_es_score: 巴斯克语与西班牙语的Sonar相似度分数 (float64)

2. bopv_eu_en_es (法律/官方公报)

   • 来源: BOPV (巴斯克官方公报)
   • 样本数: 27,130
   • 数据字段 (包含元数据与文本):
     • titulo, normative_range, estado, ambito, numBulletin, numOrder, numDisposal, fechaPublicacion, fechaDisposicion, organismo, departamento, seccion, temas, url
     • eu_unique_id, es_unique_id
     • eu_text: 巴斯克语文本
     • es_text: 西班牙语文本
     • eu_word_count: 巴斯克语词数 (int64)
     • translation: 翻译字符串

3. parliament_eu_en_es (议会记录)

   • 来源: 议会会议记录
   • 样本数: 20,385
   • 数据字段:
     • legislatura, fecha, speaker, party, topic, language, url
     • eu_unique_id, es_unique_id
     • eu_text: 巴斯克语文本
     • es_text: 西班牙语文本
     • eu_word_count: 巴斯克语词数 (int64)
     • translation: 翻译字符串

数据集统计

子集 (config)	训练集样本数	下载大小	数据集大小 (字节)
berria_eu_en_es	337,650	315.5 MB	520.5 MB
bopv_eu_en_es	27,130	69.8 MB	181.2 MB
parliament_eu_en_es	20,385	64.5 MB	123.5 MB

生成模型

• Qwen3-32B: 多语言大语言模型。
• LatxaQ-VL: 基于Qwen3-32B的领域适应版本，保留了巴斯克语能力，目前为非公开研究模型，计划未来开放。

数据用途

• 机器翻译模型的训练与评估
• 合成数据实验
• 多语言自然语言处理研究

引用与资金

• 引用: 使用该数据集时，请引用ALIA项目及所用翻译模型。
• 资金: 由“Ministerio para la Transformación Digital y de la Función Pública”资助，属于“Desarrollo de Modelos ALIA”项目的一部分，由欧盟NextGenerationEU提供资金支持。

搜集汇总

数据集介绍

构建方式

ALIA_synthetic_MT_V2是一个专注于巴斯克语至英语与西班牙语平行语料构建的数据集，其语料基础源自《Berria》新闻报刊在2023年至2025年间发表的文章，并融合了来自BOPV官方公报与Parliament议会记录的多源文本。在翻译生成环节，数据集创新性地采用了两款大型语言模型——Qwen3-32B与LatxaQ-VL，前者作为多语言基础模型确保翻译的通用性，后者则在保留巴斯克语文化与语言特性的同时强化了多语言能力。每条数据均附有Sonar相似度评分，用于量化源语与译语之间的语义对齐程度。

特点

该数据集的核心特点在于其多维度结构与大规模语料覆盖。Berria子集包含超过33万条新闻文档，每条记录涵盖巴斯克语原文及合成的英语、西班牙语译文，并配备Sonar语义对齐分数以辅助质量筛选；BOPV子集提供了约2.7万条法律文档类平行数据，包含丰富的元数据字段如发布日期、规范范围与主题标签；Parliament子集则收录了约2万条议会演讲记录，额外标注了发言者所属党派与话题领域。这种多层次、多来源的设计使得数据集能够服务于不同场景下的机器翻译与多语言自然语言处理任务。

使用方法

该数据集以HuggingFace Datasets库的标准格式发布，用户可通过指定配置名称（如'berria_eu_en_es'、'bopv_eu_en_es'或'parliament_eu_en_es'）直接加载对应的子集。每个子集仅包含训练集拆分，适合直接用于机器翻译模型的训练与评估。由于译文由大语言模型合成生成，模型中可能残留特定伪影，因此用户在训练或评估时应将其纳入考量。数据集遵循CC-BY-SA许可协议，衍生的翻译内容继承了原始数据的相同使用限制，适用于学术研究与工业级多语言NLP实验。

背景与挑战

背景概述

ALIA_synthetic_MT_V2 数据集由 ALIA / HiTZ 团队于近期创建，聚焦巴斯克语（eu）、英语（en）和西班牙语（es）三语之间的机器翻译任务。该数据集源自《Berria》新闻文章（2023–2025年），并整合了 BOPV 官方公报与议会记录，共包含约 385,000 个平行文档。其核心研究问题在于利用合成翻译技术构建高质量的多语平行语料库，以弥补低资源语言——如巴斯克语——在机器翻译训练数据上的匮乏。通过采用 Qwen3-32B 和领域自适应的 LatxaQ-VL 两种大型语言模型生成合成翻译，该数据集为多语自然语言处理研究提供了重要资源，尤其推动了巴斯克语机器翻译的发展。

当前挑战

该数据集所解决的领域挑战在于：巴斯克语作为低资源语言，缺乏充足、高质量的人工平行语料，严重限制了神经机器翻译模型的训练效果。通过合成翻译，数据集试图弥补这一鸿沟，但同时也面临构建过程中的挑战：合成翻译可能引入模型特有的伪影，如语义偏离或风格不匹配，影响下游模型的鲁棒性。此外，数据来源于新闻、官方公报和议会记录等多种领域，其语言风格和术语差异给跨领域翻译的一致性带来难题。为确保翻译质量，团队采用 Sonar 相似度分数进行过滤，但仍需警惕低质量合成样本对训练结果的潜在干扰。

常用场景

经典使用场景

ALIA Synthetic MT V2 数据集的核心经典用途在于为低资源语言巴斯克语（Euskera）构建高质量的多语种平行语料库。它依托 Berria 新闻文本，利用先进的大语言模型——Qwen3.5-27B 与 LatxaQ-VL——合成英语和西班牙语的翻译，形成了包含超过33万篇文档的三语对齐资源。该数据集特别适用于机器翻译模型的预训练与微调，尤其是在缺乏天然平行语料的巴斯克语场景中，研究者可以借助其构建从巴斯克语到主流欧洲语言的翻译系统。同时，其提供的 Sonar 语义相似度分数为过滤和筛选合成翻译的质量提供了量化依据，使得数据筛选更加可靠。

实际应用

在实际产业界，该数据集可被直接部署于巴斯克地区的多语言信息服务系统中，例如政府公告的自动翻译、新闻门户的跨语言内容分发以及公共服务中的实时语言转换。由于数据集包含来自 BOPV 的法律法规文本和议会记录，它特别适合应用于法律与政务场景下的专业翻译系统开发，帮助实现巴斯克语、西班牙语和英语之间的无缝信息流通。此外，媒体机构可借助基于此数据集训练的模型，快速将本地新闻翻译为国际语言，从而扩大受众覆盖，促进巴斯克文化与全球智识体系的深度融合与交流。

衍生相关工作

基于 ALIA Synthetic MT V2 数据集，衍生出了一系列重要的研究工作。首先，关于合成数据质量评估方面，研究者开发了基于 Sonar 语义相似度分数的过滤策略与质量置信度预测模型，以提升合成翻译数据的可用性。其次，该数据集推动了针对巴斯克语的专门化语言模型家族的迭代，诸如 LatxaQ 系列在保留巴斯克语言文化特性的同时，进一步优化了多语言翻译能力。此外，学术界还以此为基础展开了跨语言知识蒸馏、数据增强策略对模型公平性影响等探索，催生了利用合成平行语料进行神经机器翻译领域再思考的新趋势。