romansh-backtranslated

罗曼什语-德语反向翻译数据集是一个专为低资源机器翻译研究设计的数据增强资源。该数据集包含罗曼什语文本及其对应的德语合成译文，这些译文是使用Gemini 2.5 Flash大型语言模型通过反向翻译策略生成的。研究背景表明，大型语言模型在将文本翻译成罗曼什语时容易混淆其六种书面变体（Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, Vallader），但在从罗曼什语翻译成德语时表现良好。因此，本数据集采用了罗曼什语到德语的增强策略，旨在利用高质量的合成德语译文来提升德语到罗曼什语的翻译模型性能，据称可使模型在资源最稀缺的变体上超越Gemini 3 Pro基线高达+23 BLEU分数。数据集中的每个罗曼什语文本都通过`ZurichNLP/romansh-lid`工具自动预测了其所属的语言变体。数据来源于多个公开的罗曼什语语料库，包括新闻（La Quotidiana）、网页文本（FineWeb2, FineWiki）、PDF文档（FinePDFs）、戏剧剧本、市政文件、历史词典以及未对齐的平行语料（Mediomatix），涵盖了全部六种罗曼什语变体。数据集包含以下字段：`rm`（源罗曼什语文本）、`de_baseline`（基线提示生成的德语翻译）、`de_with_dictionary`（词典增强提示生成的德语翻译）、`predicted_variety`（自动预测的罗曼什语变体）、`dataset`（源数据集名称）、`metadata`（源数据集的额外元数据）以及`license`（源数据集的许可证）。本数据集主要用于自然语言处理和机器翻译研究，各行的许可证遵循其源数据集的规定。

The Romansh-German back-translation dataset is a data augmentation resource specifically designed for low-resource machine translation research. The core content of this dataset consists of Romansh texts and their corresponding synthetic German translations, which are generated using the Gemini 2.5 Flash large language model through a back-translation strategy. Research background indicates that large language models tend to confuse the six written varieties of Romansh (Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, Vallader) when translating text into Romansh, but perform well when translating from Romansh to German. Therefore, this dataset employs a Romansh-to-German enhancement strategy, aiming to leverage high-quality synthetic German translations to improve the performance of German-to-Romansh translation models, reportedly enabling models to surpass the Gemini 3 Pro baseline by up to +23 BLEU score on the most resource-scarce varieties. Each Romansh text in the dataset is automatically assigned a predicted language variety using the `ZurichNLP/romansh-lid` tool. The data is sourced from multiple public Romansh corpora, including news (La Quotidiana), web texts (FineWeb2, FineWiki), PDF documents (FinePDFs), play scripts, municipal documents, historical dictionaries, and unaligned parallel corpora (Mediomatix), covering all six Romansh varieties. The dataset includes the following fields: `rm` (source Romansh text), `de_baseline` (German translation generated with baseline prompts), `de_with_dictionary` (German translation generated with dictionary-enhanced prompts), `predicted_variety` (automatically predicted Romansh variety), `dataset` (source dataset name), `metadata` (additional metadata from the source dataset), and `license` (license of the source dataset). This dataset is primarily used for natural language processing and machine translation research, with each rows license adhering to the regulations of its source dataset.

原始信息汇总

数据集概述

数据集名称：Romansh–German Back-Translation Dataset
许可证：ODC-By 1.0（逐行许可证，详见每行数据）
目标语言：罗曼什语（rm）、德语（de）
覆盖罗曼什语变体：Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, Vallader（共6种）
用途：自然语言处理与机器翻译研究，特别适用于低资源语言的数据增强

数据集构成

字段	说明
rm	源语言罗曼什语文本
de_baseline	基线提示生成的德语翻译
de_with_dictionary	字典增强提示生成的德语翻译
predicted_variety	自动预测的罗曼什语变体
dataset	来源数据集名称
metadata	来源数据集的附加元数据
license	来源数据集的许可证

数据来源

该数据集包含以下公开罗曼什语数据源的回译结果：

来源名称	包含的变体	许可证
FineWeb2	RG	ODC-By 1.0
La Quotidiana (1997–2008, 2021–2025)	RG, Surs., Suts., Surm., Puter, Vall.	CC BY 4.0
FinePDFs	RG	ODC-By 1.0
Mediomatix (unaligned)	Surs., Suts., Surm., Puter, Vall.	CC BY-NC-SA 4.0
FineWiki	RG	CC BY-SA 4.0
Theater plays	RG, Surs., Suts., Surm., Puter, Vall.	CC0 1.0
Municipal documents	Surs., Suts., Surm., Vall.	CC0 1.0
Historical Dictionary of Switzerland	RG	CC BY-SA 4.0

核心特点

• 使用 Gemini 2.5 Flash 合成生成德语翻译，利用大语言模型从罗曼什语翻译为德语的优势（即低资源→高资源方向增强）。
• 研究表明，这种增强方法在德国→罗曼什语翻译任务上，可使最低资源变体提升最多 +23 BLEU。
• 每个罗曼什文本的变体标签由 ZurichNLP/romansh-lid 自动预测。

使用方式

python from datasets import load_dataset

dataset = load_dataset("ZurichNLP/romansh-backtranslated")

相关论文

Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties
Jannis Vamvas, Ignacio Pérez Prat, Angela Heldstab, Dominic P. Fischer, Sina Ahmadi, Rico Sennrich
arXiv:2603.25489 · 论文地址

引用格式

bibtex @misc{vamvas2026translationasymmetryllmsdata, title={Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties}, author={Jannis Vamvas and Ignacio Pérez Prat and Angela Heldstab and Dominic P. Fischer and Sina Ahmadi and Rico Sennrich}, year={2026}, eprint={2603.25489}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2603.25489} }

搜集汇总

数据集介绍

构建方式

该数据集针对罗曼什语这一低资源语言，利用大型语言模型在翻译不对称性上的特性进行数据增强。研究者采用 Gemini 2.5 Flash 模型，将来自公开语料库（如 FineWeb2、La Quotidiana 等）的罗曼什语文本反向翻译为德语，从而生成合成平行语料。其中，每个罗曼什语文本的语言变体由自动预测工具 `ZurichNLP/romansh-lid` 识别，覆盖了 Rumantsch Grischun、Sursilvan 等六种主要书面变体。这种通过低资源语言到高资源语言进行反向翻译的策略，有效规避了模型直接向罗曼什语翻译时混淆变体的问题。

特点

数据集的核心特点在于其构建逻辑基于翻译不对称性，即模型在从罗曼什语译为德语时表现优异，反之则较差。因此，反向翻译生成的德语译文能够显著提升模型在德语到罗曼什语方向的翻译性能，在资源最匮乏的变体上实现了高达 +23 BLEU 的改进。此外，每条数据不仅包含原始的罗曼什语文本和两种不同提示策略（基线与词典增强）生成的德语译文，还附带了预测的罗曼什语变体标签、来源数据集名称及许可信息，便于研究者追溯和筛选。

使用方法

用户可通过 Hugging Face 的 `datasets` 库便捷加载该数据集，调用 `load_dataset("ZurichNLP/romansh-backtranslated")` 即可获得包含 `rm`、`de_baseline`、`de_with_dictionary` 等字段的样本。该数据集专为自然语言处理与机器翻译研究设计，尤其适用于低资源场景下的数据增强实验。每行数据均独立标注了许可协议，使用前需根据来源数据的授权条款进行合规性审查。

背景与挑战

背景概述

罗曼什语作为瑞士境内的一种低资源语言，其下辖六种截然不同的书面变体，这一多元异质性对神经机器翻译构成了严峻考验。为应对该语言在数据增强与翻译建模方面的迫切需求，由苏黎世大学Jannis Vamvas、Rico Sennrich等研究人员于2026年创建了romansh-backtranslated数据集。该数据集的核心研究问题聚焦于利用大语言模型在罗曼什语译向德语时表现出的翻译不对称优势，通过回译技术生成高质量的合成德语译文，从而显著提升德语到罗曼什语的翻译质量。研究表明，借助该数据集进行训练的模型，在资源最匮乏的变体上相较于Gemini 3 Pro基线实现了高达+23 BLEU值的性能突破。该数据集整合了来自La Quotidiana、FineWeb2、Mediomatix等多个公开语料库的罗曼什语文本，并利用ZurichNLP/romansh-lid模型自动标注了各文本的语言变体，为多标准低资源机器翻译研究提供了关键基准资源。

当前挑战

当前数据集面临的核心挑战在于所解决的领域问题与构建过程的双重复杂性。领域层面，罗曼什语的六种书面变体之间存在显著的语言歧义与形态差异，大语言模型在直接翻译进入罗曼什语时极易混淆变体，导致生成译文质量低下；同时，低资源环境使得传统依赖平行语料的方法难以有效覆盖所有变体。构建过程中，从La Quotidiana、FinePDFs、Mediomatix等多个来源收集的原始文本格式与许可协议（如ODC-By、CC BY-SA）高度异构，数据清洗与结构化整合面临巨大工程挑战；此外，利用Gemini 2.5 Flash进行回译时，需精密设计提示策略（如基线提示与词典增强提示）以平衡合成译文的质量与多样性，而自动变体识别模型在部分边缘文本上仍存在预测偏差，可能引入噪声标签，进一步加剧了数据一致性与模型泛化能力的矛盾。

常用场景

经典使用场景

罗曼什语作为瑞士四种官方语言之一，因其使用者稀少且内部包含六种截然不同的书面变体（Rumantsch Grischun、Sursilvan、Sutsilvan、Surmiran、Puter、Vallader），长期处于低资源机器翻译的困境之中。romansh-backtranslated数据集正是为破解这一困局而生，其经典使用场景在于利用大规模反向翻译进行数据增强：通过Gemini 2.5 Flash模型将罗曼什语源文本高质量地翻译成德语，从而为德语到罗曼什语的翻译任务合成出丰富的平行语料。这一策略巧妙利用了大型语言模型在罗曼什语到德语方向上表现优异、而在反方向上易混淆各变体的非对称性，使得即使是最低资源的变体也能获得显著提升。

解决学术问题

该数据集直面低资源机器翻译中数据匮乏这一核心学术挑战，尤其聚焦于多语言变体共存场景下的翻译质量不均问题。学术研究表明，大型语言模型在处理罗曼什语时存在明显的翻译非对称性——将罗曼什语译入德语表现良好，反向翻译则因混淆六种书写变体而质量堪忧。romansh-backtranslated通过构建LR→HR（低资源→高资源）的回译数据，系统性地验证了这种非对称性本身可作为数据增强的有效杠杆。实验证明，借助该数据集训练的模型在德语到罗曼什语的翻译中，最低资源变体可超越Gemini 3 Pro基线高达+23 BLEU值，为多语言变体下的低资源机器翻译提供了新颖且高效的理论框架与实证依据。

衍生相关工作

该数据集的诞生直接催生了一系列具有启发性的后续研究工作。其核心论文《Translation Asymmetry in LLMs as a Data Augmentation Factor》系统阐述了翻译非对称性作为数据增强因子的理论机制，为低资源语言研究开辟了新视角。配套发布的romansh-lid语种识别工具使得自动分辨罗曼什语各变体成为现实，为其他多语言变体场景（如阿尔萨斯语、撒丁语等）提供了可复现的方法论。此外，数据集中包含的词典增强型翻译策略（de_with_dictionary字段）展示了如何将传统语言资源与现代大模型巧妙融合，这一思路已被后续研究应用于其他濒危语言的翻译系统构建中，推动了计算语言学领域对语言多样性与技术包容性的深度探索。