ZurichNLP/romansh-backtranslated

--- license: odc-by language: - rm - de tags: - machine-translation - low-resource - backtranslation --- # Romansh–German Back-Translation Dataset ## Background This dataset contains Romansh texts paired with German translations generated synthetically using **Gemini 2.5 Flash**. It was created as part of research on data augmentation for low-resource machine translation of Romansh, a language with 6 distinct written varieties (Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, Vallader). LLMs tend to confuse Romansh varieties when translating *into* Romansh, but perform well translating *out of* Romansh into German. This asymmetry makes LR → HR augmentation (Romansh → German) the ideal strategy. Synthetic German translations produced this way allow models to surpass a Gemini 3 Pro baseline on German → Romansh translation by up to +23 BLEU in the lowest-resource variety. The language variety of each Romansh text was automatically predicted using [`ZurichNLP/romansh-lid`](https://github.com/ZurichNLP/romansh-lid). ## Usage ```python from datasets import load_dataset dataset = load_dataset("ZurichNLP/romansh-backtranslated") ``` This dataset is intended for NLP and machine translation research. The license of the individual rows is defined per-row. ## Paper > **Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties** > Jannis Vamvas, Ignacio Pérez Prat, Angela Heldstab, Dominic P. Fischer, Sina Ahmadi, Rico Sennrich > arXiv:2603.25489 · https://arxiv.org/abs/2603.25489 ## Dataset Fields | Field | Description | |---|---| | `rm` | Source Romansh text | | `de_baseline` | German translation (baseline prompting) | | `de_with_dictionary` | German translation (dictionary-augmented prompting) | | `predicted_variety` | Automatically predicted Romansh variety | | `dataset` | Name of the source dataset | | `metadata` | Additional metadata from the source dataset | | `license` | License of the source dataset | ## Source Datasets This dataset contains backtranslations of the following publicly available Romansh sources: | Name | Varieties | URL | License | |---|---|---|---| | FineWeb2 | RG | [HuggingFace](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) | ODC-By 1.0 | | La Quotidiana (1997–2008, 2021–2025) | RG, Surs., Suts., Surm., Puter, Vall. | [HuggingFace](https://huggingface.co/datasets/ZurichNLP/quotidiana) | CC BY 4.0 | | FinePDFs | RG | [HuggingFace](https://huggingface.co/datasets/HuggingFaceFW/finepdfs) | ODC-By 1.0 | | Mediomatix (unaligned) | Surs., Suts., Surm., Puter, Vall. | [HuggingFace](https://huggingface.co/datasets/ZurichNLP/mediomatix-raw) | CC BY-NC-SA 4.0 | | FineWiki | RG | [HuggingFace](https://huggingface.co/datasets/HuggingFaceFW/finewiki) | CC BY-SA 4.0 | | Theater plays | RG, Surs., Suts., Surm., Puter, Vall. | [HuggingFace](https://huggingface.co/datasets/ZurichNLP/romansh_theater_plays) | CC0 1.0 | | Municipal documents | Surs., Suts., Surm., Vall. | [HuggingFace](https://huggingface.co/datasets/ZurichNLP/romansh-municipal-text-corpus) | CC0 1.0 | | Historical Dictionary of Switzerland | RG | [hls-dhs-dss.ch](https://hls-dhs-dss.ch/rm/) | CC BY-SA 4.0 | ## Citation If you use this dataset, please cite: ```bibtex @misc{vamvas2026translationasymmetryllmsdata, title={Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties}, author={Jannis Vamvas and Ignacio Pérez Prat and Angela Heldstab and Dominic P. Fischer and Sina Ahmadi and Rico Sennrich}, year={2026}, eprint={2603.25489}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2603.25489} } ```This dataset is a Romansh–German back-translation dataset designed for low-resource machine translation research. It contains Romansh texts paired with synthetic German translations generated using Gemini 2.5 Flash, aiming to improve German → Romansh translation through data augmentation. Romansh has 6 distinct written varieties (Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, Vallader). Large language models perform well when translating out of Romansh into German but tend to confuse varieties when translating into Romansh, making Romansh → German augmentation the ideal strategy. Each Romansh text in the dataset has its language variety automatically predicted using ZurichNLP/romansh-lid. Dataset fields include: source Romansh text (rm), German translation with baseline prompting (de_baseline), German translation with dictionary-augmented prompting (de_with_dictionary), automatically predicted Romansh variety (predicted_variety), name of the source dataset (dataset), additional metadata from the source dataset (metadata), and license of the source dataset (license). The data is sourced from multiple publicly available datasets such as FineWeb2, La Quotidiana, FinePDFs, etc., covering various varieties and licenses.

搜集汇总

数据集介绍

构建方式

该数据集是针对罗曼什语这一低资源语言的机器翻译数据增强研究产物。构建过程中，研究者利用Gemini 2.5 Flash模型，将来自多个公开语料库的罗曼什语文本（涵盖Rumantsch Grischun、Sursilvan等六种书面变体）反向翻译为德语，从而生成合成平行语料。罗曼什语的每种文本变体通过ZurichNLP/romansh-lid工具自动识别标注，确保了数据来源的精细化管理。数据集整合了FineWeb2、La Quotidiana、FinePDFs等八种罗曼什语源数据，分别保留了各自原始的许可证信息。

特点

该数据集的核心特点在于利用大语言模型在罗曼什语到德语的翻译方向上表现优异这一不对称性，通过低资源向高资源的反向翻译策略进行数据扩充。实验表明，基于此方法增强的模型在德语到罗曼什语的翻译任务上，对最低资源变体可提升高达23个BLEU值，效果优于Gemini 3 Pro基线。每条数据不仅包含罗曼什语原文和两种不同提示策略生成的德语译文，还附带了预测的罗曼什语变体标签、源数据集名称及元数据，结构丰富且信息完整。

使用方法

该数据集通过HuggingFace的datasets库加载，使用者只需一条简单的Python命令即可获取全部数据：load_dataset("ZurichNLP/romansh-backtranslated")。数据以表格形式组织，每行代表一条独立的翻译样本，用户可依据字段如rm、de_baseline、predicted_variety等灵活筛选与使用。该数据集专为自然语言处理和机器翻译研究设计，尤其适用于低资源场景下的数据增强和跨语言模型微调，具体使用时应遵守各源数据集对应的许可证条款。

背景与挑战

背景概述

在低资源机器翻译研究中，罗曼什语作为一种拥有六种不同书面变体（Rumantsch Grischun、Sursilvan、Sutsilvan、Surmiran、Puter、Vallader）的语言，其数据匮乏问题尤为突出。由苏黎世大学NLP研究团队于2026年创建的romansh-backtranslated数据集，旨在利用大语言模型在罗曼什语至德语翻译中的不对称性优势，通过反向翻译策略进行数据增强。该数据集由Jannis Vamvas、Ignacio Pérez Prat等研究人员主导，依托Gemini 2.5 Flash模型为罗曼什语文本合成对应的德语译文，并借助自动变体识别工具标注每段文本的语言变体类型。这一工作不仅为低资源语言翻译提供了创新性的数据扩充范式，其论文提出的翻译不对称理论更对多语种机器翻译领域产生了重要影响，为后续研究开辟了新的方向。

当前挑战

数据集构建面临的核心挑战源于罗曼什语的多变体特性，大语言模型在将德语翻译为罗曼什语时极易混淆不同书写变体，导致译文质量参差不齐，这构成了低资源翻译任务的首要难题。为解决这一领域问题，研究团队巧妙利用LLM在罗曼什语至德语翻译中的高准确性，通过反向翻译将低资源语言（LR）转换为高资源语言（HR）来规避变体混淆。然而，构建过程同样困难重重，如何从多个来源（包括新闻文本、政府文件、历史词典等）收集并统一格式成为技术难点，且需为每一条罗曼什语文本自动推断其所属变体，这要求预测模型具备极高精度。此外，合成译文的真实性验证、跨数据集的许可证兼容性处理，以及确保最低资源变体（如Vallader）获得足够的数据增强，均对数据集的可靠性提出了严峻考验。

常用场景

经典使用场景

罗曼什语作为瑞士四种官方语言之一，拥有六个独立的书面变体，其低资源特性长期制约着神经机器翻译的发展。该数据集通过利用大语言模型在低资源语言转高资源语言方向上表现优异的不对称性，采用Gemini 2.5 Flash对罗曼什语文本进行回译，生成高质量的合成德语译文，从而构建了一个面向六种罗曼什语变体的德语平行语料库。经典使用场景聚焦于低资源机器翻译的数据增强，特别是在德语到罗曼什语的翻译任务中，通过将合成回译数据与原始语料联合训练，显著提升模型的翻译性能。

解决学术问题

该数据集精准回应了低资源语言机器翻译中数据稀缺这一核心学术挑战。传统数据增强方法在罗曼什语这种拥有复杂方言变体的语言上常因翻译方向的选择而效果欠佳，该工作系统揭示了LLM在翻译方向上的不对称性，并提出LR→HR回译策略以规避LLM生成目标语言时的变体混淆问题。这一发现不仅为罗曼什语六种变体的翻译效能带来最高23 BLEU的提升，也为其他低资源语言的数据增强研究提供了理论依据与实证参考，深化了学术界对翻译不对称性在低资源场景中应用边界的理解。

衍生相关工作

该数据集的构建方法论已衍生出多项具有示范性的学术工作，包括基于翻译不对称性的数据增强框架、低资源语言的变体识别模型以及词典增强提示策略。其依赖的罗曼什语变体识别模型ZurichNLP/romansh-lid已成为后续方言分类研究的基线工具。同时，该工作推动了针对瑞士本土语言语料库的系统整合，促使FineWeb2、La Quotidiana等多个源数据集在低资源场景下得到重新挖掘与利用，为多语种、多方言的神经机器翻译开辟了以回译为核心的数据增强新范式。