NbAiLab/nb-asr-mt-filtered

nb-asr-mt-filtered是一个生成的机器翻译数据集，基于NB-ASR translationese管道构建。该数据集包含12种语言对配置，如英语-挪威语（eng-nob）、挪威语-英语（nob-eng）等，每种配置都有训练、验证和测试分割。核心构建规则是反向使用合成数据：当语言X的本地文本被翻译成合成语言Y时，结果行被用作Y到X的训练数据。因此，监督目标始终是本地文本，而源端可能包含翻译痕迹。这个过滤变体应用了保守的多语言双语嵌入完整性过滤器，以去除严重的源-目标不匹配，同时保持广泛覆盖。数据集总行数为10,814,726，用于机器翻译训练和翻译痕迹感知数据构建研究。nb-asr-mt-filtered is a generated machine-translation manifest dataset built from the NB-ASR translationese pipeline. Each config is a language pair in ISO 639-3 style, such as dan-eng. The core construction rule is reversed use of synthetic data: when native text in language X is translated into synthetic language Y, the resulting row is used as Y-to-X training data. The supervised target is therefore always native text, while the source side may contain translationese artifacts. This filtered variant applies a conservative multilingual bitext embedding sanity filter to remove severe source-target mismatches while preserving broad coverage. The dataset is intended for MT training and research on translationese-aware data construction.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，机器翻译模型的性能高度依赖于训练数据的质量与多样性。nb-asr-mt-filtered数据集作为NB-ASR项目的一部分，被精心构建以支持翻译记忆库的构建与翻译现象研究。该数据集通过一种反向利用合成数据的创新策略构建：当母语为X的文本被翻译成合成语言Y后，所得的翻译对便被用作Y到X方向的训练数据。这种做法的独特之处在于，监督目标始终为原生文本，而源端可能包含翻译痕迹。数据集的生成涉及四种翻译模型家族，包括Google的Translategemma系列与BSC-LT的Salamandra模型，且前向翻译与反向翻译使用不同的模型。为了保证覆盖范围的同时剔除严重不匹配的样本，该数据集采用了一种保守的多语言嵌入语义过滤器，有效去除明显幻觉、截断错误及语言识别失败的样本。

特点

nb-asr-mt-filtered数据集以其精细的语言对覆盖和严格的质量筛选脱颖而出。该数据集涵盖英语、挪威语、瑞典语、丹麦语之间的十二个翻译方向，总计超过一千万行数据，每个语言对均划分为训练集、验证集和测试集。其核心特色在于通过多语言嵌入语义过滤器实现的数据精炼，该机制保守地排除源端与目标端严重不匹配的对齐错误，同时保留广泛的语言覆盖。数据条目不仅包含源文本和目标文本，还保留了模型标识符、版本信息、验证元数据、使用元数据及时间元数据，为翻译现象分析提供了丰富的上下文。每个语言对的分割基于(config, source_chunk_id)进行确定性划分，确保了实验的可重复性。

使用方法

对于研究人员而言，nb-asr-mt-filtered数据集为机器翻译训练和翻译意识数据构建提供了宝贵的资源。使用该数据集时，应将source_text作为输入，target_text作为监督目标，其中target_text始终是原生语言文本，有助于模型学习生成地道表达。数据集提供了多种语言对配置，用户可通过指定config_name加载相应的语言对，例如加载英语到挪威语的对齐使用'eng-nob'配置。数据以JSONL格式存储，每行包含完整的翻译记录，便于直接用于训练序列到序列模型。建议在使用前先对数据进行探索性分析，特别关注翻译痕迹对模型行为的影响，以充分发挥该数据集在翻译质量评估和翻译现象研究中的潜力。

背景与挑战

背景概述

nb-asr-mt-filtered数据集是由挪威国家图书馆（National Library of Norway）的Per Egil Kummervold和Thea Tollersrud主导开发的机器翻译标注语料库，创建于2024年。该数据集聚焦于斯堪的纳维亚语言对（如挪威语-英语、瑞典语-英语、丹麦语-英语等）的翻译任务，旨在利用反向合成数据策略构建高质量的训练资源。其核心研究问题在于如何从机器翻译的翻译腔（translationese）中提取有效信息，通过将母语文本反向翻译后作为源端，保留自然的目标端母语文本，从而突破传统平行语料库对人工标注的依赖。该数据集包含超过1081万条记录，覆盖12个语言方向，为低资源语言对（如挪威语-瑞典语）的神经机器翻译研究提供了规模化的数据基础，推动了斯堪的纳维亚语系自然语言处理的发展。

当前挑战

该数据集所解决的领域挑战主要在于克服机器翻译中合成数据普遍存在的翻译腔问题，以及低资源斯堪的纳维亚语言对之间平行语料稀缺的困境。传统方法依赖人工翻译或在线爬取的平行文本，成本高昂且覆盖不全，而nb-asr-mt-filtered通过反向合成管道生成大量数据，但需确保源端翻译腔不会严重偏离目标语言的表达习惯。在构建过程中，挑战体现在确保反向翻译流程中模型选择的审慎性，即对同一句子使用不同的前向和反向模型以避免数据偏差；同时，采用保守的多语言嵌入过滤机制清除明显的幻觉、截断错误、解析失败和语言错误，但如何在保持广泛覆盖与严格质量控制之间取得平衡仍是难点。此外，对母语原创文本与反译文本之间的语义相似性进行阈值判断，以避免降低数据多样性。

常用场景

经典使用场景

在机器翻译研究领域，nb-asr-mt-filtered数据集凭借其独特的合成数据反向构建策略，为低资源语对（如挪威语、丹麦语、瑞典语与英语之间的互译）提供了大规模、高质量的平行语料。该数据集的经典使用场景在于训练翻译模型时，以目标端的母语文本为监督信号，源端则允许存在翻译腔（translationese）伪影，这种设计能够有效提升模型对非标准输入的鲁棒性。研究者通常将其作为基准语料，用于训练神经机器翻译系统，并在多个斯堪的纳维亚语系语对间验证模型的泛化能力。

衍生相关工作

基于该数据集的构建范式，衍生出一系列关于翻译腔感知数据构造的经典工作。例如，其母数据集nb-asr-mt与高精度版本nb-asr-mt-gold分别探索了不同过滤阈值对模型质量的影响，形成了从宽松到严格的语料筛选谱系。后续研究者借鉴其“反向使用合成数据”的核心思想，将类似策略拓展至其他语系（如乌拉尔语系），并开发了针对翻译腔伪影的评估指标。这些工作共同深化了对合成训练数据来源与质量关系的理解。

数据集最近研究

最新研究方向

该数据集聚焦于斯堪的纳维亚语言（挪威语、瑞典语、丹麦语）与英语之间的多语种机器翻译，采用逆向合成数据策略，将翻译腔（translationese）特征转化为训练优势。前沿研究方向包括：利用多模型集成（如TranslateGemma、Salamandra、Qwen）生成高质量翻译语料，并通过多语言嵌入过滤技术剔除幻觉、截断及语言误配问题，提升数据纯度。这一方法回应了低资源神经机器翻译中对天然文本监督信号的迫切需求，尤其针对挪威语等小语种，其创新性在于反向利用合成数据中的翻译腔作为源端特征，而非传统地将其视为噪声。该数据集体现了对翻译腔敏感的数据筛选范式，为构建高置信度多语翻译系统提供了方法论支撑，对北欧语言数字生态建设具有基础性推动作用。