MLQE-PE

MLQE-PE是由谢菲尔德大学等多个机构合作创建的多语言质量评估和后期编辑数据集，包含11种语言对，每种语言对最多有10,000条翻译数据。数据集内容丰富，包括句子级直接评估、后期编辑努力和词级好坏标签，以及后期编辑句子和文章标题。创建过程涉及从维基百科等来源收集数据，使用最先进的神经机器翻译模型进行翻译。该数据集主要应用于机器翻译质量评估和自动后期编辑，旨在解决机器翻译中的质量问题，特别是在资源较少语言对中的挑战。

MLQE-PE is a multilingual quality estimation and post-editing dataset co-created by the University of Sheffield and multiple other institutions. It covers 11 language pairs, with each language pair containing up to 10,000 translation instances. The dataset features rich content, including sentence-level direct assessment, post-editing effort, word-level quality tags, as well as post-edited sentences and article titles. Its development involved collecting data from sources such as Wikipedia and translating the collected data using state-of-the-art neural machine translation models. This dataset is primarily applied to machine translation quality estimation and automatic post-editing, aiming to address quality issues in machine translation, especially the challenges faced by low-resource language pairs.

搜集汇总

数据集介绍

构建方式

在机器翻译质量评估领域，现有数据集多局限于高资源语言对且缺乏对翻译模型内部状态的访问，MLQE-PE数据集应运而生以填补这一空白。该数据集从维基百科文章中采样源句子，并利用基于fairseq工具包训练的Transformer架构神经机器翻译模型生成译文，覆盖英语-德语、英语-中文等十一个语言对，混合高、中、低资源语言。数据收集过程中，通过语言识别工具筛选句子，并采用困惑度加权采样确保质量多样性。对于俄语-英语，额外整合了Reddit论坛及俄罗斯谚语等多元来源。每个语言对包含高达10,000句的标注数据，划分为训练、开发及两个测试集，并提供独立创建的人工参考译文子集。

特点

MLQE-PE数据集的核心特色在于其多维度的质量标注体系与资源开放性。它同时收录了句子级直接评估分数（0-100分制）和基于人工译后编辑的HTER指标，并细粒度地提供了词级好坏标签，使研究者能对比两种质量视角的差异。数据集公开了用于生成译文的神经机器翻译模型及其内部状态信息，为玻璃箱方法及不确定性估计研究铺平道路。此外，源句附带的维基百科标题信息支持文档级上下文建模，而跨语言对的资源层级分布（从高资源到极低资源）则真实反映了机器翻译在不同场景下的性能挑战，如表格所示，低资源语言对的平均直接评估分数显著偏低。

使用方法

该数据集专为机器翻译质量估计与自动译后编辑任务设计，支持句子级与词级预测。研究者可基于提供的训练集（每语言对7,000句）开发预测器-估计器架构模型，如文中基线所示，采用预训练的XLM-RoBERTa编码器联合编码源句与译文，并通过平均池化提取特征后输入前馈层进行回归或分类。词级标签通过SimAlign对齐工具与Tercom编辑距离计算生成，可用于训练细粒度错误检测模型。数据集还包含盲测集用于零样本场景评估，而独立参考译文子集则便于对比有参考与无参考评估方法。所有数据及模型均通过GitHub公开获取，已用于WMT2020及WMT2021共享任务。

背景与挑战

背景概述

机器翻译质量估计（QE）与自动译后编辑（APE）是自然语言处理领域的关键任务，旨在无需参考译文的情况下评估翻译质量并辅助人工修正。MLQE-PE数据集由谢菲尔德大学、约翰霍普金斯大学、Facebook AI等多家机构于2020年联合创建，核心研究问题在于突破传统QE数据集的局限，提供涵盖11种语言对（包括高资源与低资源语言）的大规模标注资源。该数据集首次结合了句子级直接评估与译后编辑努力度标注，同时提供词级好坏标签、源文本的维基百科文章标题以及用于生成译文的神经机器翻译模型信息，为无参考译文质量评估、模型校准及低资源场景下的QE研究奠定了重要基石。其在WMT 2020和2021共享任务中的广泛应用，显著推动了该领域的发展。

当前挑战

MLQE-PE数据集面临的核心挑战包括：其一，所解决的领域问题在于现有QE数据集多集中于高资源语言对且翻译质量普遍较高，难以反映低资源场景下机器翻译的严峻挑战，而该数据集需覆盖从高资源（如英德、英中）到低资源（如尼泊尔语-英语、僧伽罗语-英语）的广泛语言对，以验证QE模型的泛化能力。其二，构建过程中需克服多重困难：如何确保低资源语言对中充分包含低质量翻译样本以反映真实分布；如何协调不同机构（如Facebook、IQT Labs）采用差异化的数据收集策略（如维基百科采样与Reddit多领域文本），并保持标注一致性；直接评估与译后编辑两种质量度量在句子层面呈弱相关，需同时提供二者以揭示质量评估的多维性。此外，词级标签的生成依赖源文与译文的精准对齐及编辑距离计算，对低资源语言的工具适配性提出了额外要求。

常用场景

经典使用场景

MLQE-PE数据集的核心应用场景在于机器翻译质量估计（QE）与自动译后编辑（APE）两大任务。在机器翻译领域，评估译文质量通常依赖参考译文，而该数据集通过提供无参考译文条件下的句子级与词级质量标签，为构建和评估QE模型提供了标准化基准。其涵盖十一个语言对，囊括高资源、中资源与低资源语言，尤其适合研究资源匮乏情境下的翻译质量预测。数据集还包含原文所在的维基百科文章标题，支持文档级上下文建模，从而提升质量估计的准确性。此外，译后编辑文本的收录使得APE模型的训练与评测成为可能，推动了翻译后自动修正技术的发展。

解决学术问题

该数据集系统性地解决了机器翻译质量估计研究中长期存在的若干关键学术问题。首先，它首次公开了用于生成译文的神经机器翻译模型及其内部状态信息，使得基于模型置信度或不确定性的“玻璃箱”方法得以探索，突破了此前仅依赖外部特征的黑箱式QE研究局限。其次，数据集同时提供直接评估分数与译后编辑工作量（HTER）两种质量标注，使得研究者能够深入分析两种评估视角之间的差异与关联，进而更全面地理解翻译质量的多维性。最后，通过纳入低资源语言对，MLQE-PE填补了现有QE数据集中于高资源语言的空白，为低资源场景下的翻译质量评估研究奠定了数据基础，具有重要的学术推动意义。

衍生相关工作

MLQE-PE数据集催生了一系列具有影响力的衍生研究工作。在质量估计领域，基于该数据集的预测器-估计器架构结合XLM-RoBERTa预训练模型的基线系统，为后续更复杂的QE模型提供了对比基准。研究者进一步探索了基于模型不确定性的玻璃箱方法，利用公开的NMT模型内部状态提升预测精度。在自动译后编辑方面，数据集中的译后编辑文本被用于训练端到端的修正模型，推动了APE任务从规则驱动向神经网络的范式迁移。此外，数据集中包含的独立参考译文子集，使得无参考与有参考机器翻译评估方法的对比研究成为可能，启发了多假设翻译评估等新方向。WMT2020与WMT2021质量估计共享任务均采用该数据集作为官方评测数据，进一步巩固了其作为领域标准资源的核心地位。