NbAiLab/nb-asr-mt-gold

nb-asr-mt-gold是一个基于NB-ASR翻译流程生成的机器翻译数据集，包含12种语言对配置（如英语-挪威语、挪威语-英语、瑞典语-英语等）。数据集的构建规则是反向使用合成数据：当语言X的母语文本被翻译成合成语言Y时，结果行被用作Y到X的训练数据，因此监督目标始终是母语文本文本，而源端可能包含翻译痕迹（即非母语表达）。该数据集是nb-asr-mt的变体，通过多语言嵌入模型进行严格筛选，确保母语原文和回译文本在语义上高度相似，旨在提供高置信度的训练数据，覆盖有用内容而非完全相同的字符串。数据集总行数为3,397,227，包含训练、验证和测试分割，用于机器翻译训练和翻译痕迹感知的数据构建研究。nb-asr-mt-gold is a generated machine-translation manifest dataset built from the NB-ASR translationese pipeline. It includes 12 language pair configurations (e.g., eng-nob, nob-eng, swe-eng). The core construction rule involves reversed use of synthetic data: when native text in language X is translated into synthetic language Y, the resulting row is used as Y-to-X training data, so the supervised target is always native text, while the source side may contain translationese artifacts. This gold variant is filtered using a multilingual embedding model to ensure high similarity between the native original and backtranslation, targeting useful high-confidence coverage rather than exact string equality. The dataset contains 3,397,227 rows with train, validation, and test splits, intended for MT training and research on translationese-aware data construction.

搜集汇总

数据集介绍

构建方式

该数据集源自NB-ASR翻译腔管线，核心构建逻辑采用合成数据的逆向应用：当X语言的原始文本被翻译为合成Y语言后，将所得结果作为Y到X方向的训练样本，监督目标始终为原生文本。在此基础上，通过多语言嵌入模型计算同语言回译与原生原文的语义相似度，筛选出高置信度且具有覆盖价值的语料对。翻译路径由四种模型家族（如Google TranslateGemma系列、SalamandraTA等）生成，且前向与回译使用不同模型，最终形成包含12个语言方向的配对数据。

特点

本数据集包含英语、丹麦语、瑞典语、书面挪威语四种语言的12个双向翻译方向，总计超过339万条高质量实例。其突出特点在于数据构建对翻译腔现象的显式建模，通过严格的嵌入相似度过滤机制抑制幻觉、截断等伪影。每条记录保留模型标识、元数据及原文与回译的完整追踪信息，训练集、验证集、测试集按95:2.5:2.5比例确定性划分，确保实验的可复现性。

使用方法

数据集通过HuggingFace Datasets库加载，每个语言对作为独立配置（如eng-nob）包含train、validation、test分片。训练时可直接将source_text字段作为输入、target_text作为目标标签。推荐用于机器翻译模型的训练与评估，尤其适合探究翻译腔对模型泛化能力影响的研究场景。注意该数据集目前处于内部开发阶段，需获得项目团队明确许可后方可外部使用。

背景与挑战

背景概述

nb-asr-mt-gold数据集由挪威国家图书馆的Per Egil Kummervold与Thea Tollersrud主导创建，旨在应对北欧语种机器翻译中天然标注数据匮乏的困境，其核心研究问题在于如何利用反向合成数据策略，将翻译腔文本转化为高置信度的平行语料。该数据集覆盖英语、挪威语、瑞典语和丹麦语之间的12个语言对，通过多模型前向翻译与回译的差分设计，并借助多语言嵌入模型对原文与同语言回译进行语义相似度筛选，构建出总规模逾339万条的高质量语料。该工作在低资源北欧语言神经机器翻译领域具有开创性意义，为翻译腔感知的数据构建方法提供了新范式。

当前挑战

该数据集所应对的领域挑战在于，低资源语种间机器翻译长期受困于天然平行语料稀缺，且合成数据易引入翻译腔和语义偏差，导致模型生成不自然的译文。构建过程中面临的核心难题包括：如何从四种大模型生成的机器翻译结果中有效甄别并剔除幻觉、截断、解析错误及语种混淆等劣质样本；如何设计严谨的回译路由策略确保来源与目标语种的一致性；以及如何通过相似度阈值设定在保留有用覆盖率与排除低质数据间取得平衡，最终实现高置信度训练集的精准提取。

常用场景

经典使用场景

在机器翻译研究领域，nb-asr-mt-gold数据集凭借其独特的构建范式，成为了翻译腔感知训练与高置信度平行语料筛选的经典基准。该数据集通过反向合成数据策略，将原生文本经机器翻译至目标语再回译，并利用多语言嵌入模型对回译结果与原生文本进行语义相似度评估，仅保留高度接近的样本。这种设计使其特别适用于训练对翻译腔具有鲁棒性的神经机器翻译模型，尤其是在斯堪的纳维亚语系内部及与英语之间的多语言翻译任务中，为研究翻译噪声对模型性能的影响提供了优质数据支撑。

实际应用

在实际应用中，nb-asr-mt-gold数据集广泛服务于北欧语言处理相关的工业系统，例如挪威语、瑞典语、丹麦语之间的跨语言信息检索与多语言客服机器人。由于该数据集强调目标端为纯净原生文本，训练出的模型在生成自然流畅的译文时更具优势，尤其适用于需要高保真度翻译的场景，如法律文档的机器翻译、新闻内容的跨语言传播以及学术文献的翻译辅助工具。此外，其高置信度特性也使得它成为语音识别系统中文本后处理环节的理想训练资源。

衍生相关工作

nb-asr-mt-gold数据集的推出催生了多项创新性研究工作。在数据筛选方法论上，其提出的基于多语言嵌入模型的语义相似度过滤机制被后续工作用于构建其他语言对的高质量平行语料库；在模型训练范式上，该数据集启发了翻译腔感知的神经机器翻译架构设计，研究者通过显式建模翻译腔特征来提升翻译质量。此外，该数据集的严格过滤策略也为合成数据质量控制设立了新标杆，推动了翻译腔检测、翻译伪影移除等子方向的研究发展，成为北欧语言机器翻译领域的重要基准之一。