IndicQE-APE

IndicQE-APE是一个为印度语及其他低资源语言对构建的统一、多任务质量评估（QE）与自动后编辑（APE）基准数据集。它整合了来自Surrey-NLP QE/APE数据谱系的多种资源，包括WMT QE直接评估数据、特定领域的印度语QE数据以及人工后编辑数据，形成一个可配置的单一资源。数据集采用“测试集优先”的构建理念，其核心是一个经过精心策划、难度分层的诊断性挑战测试集，该测试集过度代表了操作上困难的实例（如质量存在争议、流畅但错误的翻译、错误密集的片段），旨在评估模型在真正具有挑战性的场景下的性能。数据集公开部分包含116,332个实例，覆盖8个语言对：英语到印地语（en-hi）、马拉地语（en-mr）、泰米尔语（en-ta）、泰卢固语（en-te）、古吉拉特语（en-gu），以及爱沙尼亚语到英语（et-en）、尼泊尔语到英语（ne-en）、僧伽罗语到英语（si-en）。每个实例对应一个（源句，机器翻译）对，并可能携带以下一种或多种注释：句子级直接评估分数（DA，0-100分范围，提供原始均值`da_mean`和标准化均值`da_z_mean`）、人工后编辑文本（`post_edit`，作为APE任务的目标）、领域标签（`domain`）。数据集通过确定性的内容哈希（`uid`）和人类可读标识符（`cadence_id`）确保实例身份的稳定性与可追溯性。数据集提供多种配置视图以满足不同研究需求：`qe-da`配置（75,164行）包含所有具有DA标签的实例，适用于句子级QE任务；`ape`配置（42,588行）包含所有具有人工后编辑的实例，适用于APE任务；`challenge`配置（11,401行）为诊断性挑战测试集，按9种选择路径（`route`）标注，用于评估模型在困难样本与简单对照样本上的性能差异；`full`配置包含所有公开实例；此外还提供各个语言对的独立配置。数据集划分保证源句在训练、验证和测试集之间互不重复。该数据集适用于机器翻译质量评估、自动后编辑、低资源语言处理、模型鲁棒性分析以及提示词敏感性研究等任务。IndicQE-APE is a unified, multi-task quality estimation (QE) and automatic post-editing (APE) benchmark dataset constructed for Indian and other low-resource language pairs. It integrates multiple resources from the Surrey-NLP QE/APE data lineage, including WMT QE direct assessment data, domain-specific Indian language QE data, and human post-editing data, forming a configurable single resource. The dataset adopts a test-set-first construction philosophy, with a core of a carefully curated, difficulty-stratified diagnostic challenge test set that over-represents operationally difficult instances (e.g., quality-disputed, fluent but incorrect translations, error-dense segments), aiming to evaluate model performance in truly challenging scenarios. The publicly available portion contains 116,332 instances covering 8 language pairs: English to Hindi (en-hi), Marathi (en-mr), Tamil (en-ta), Telugu (en-te), Gujarati (en-gu), and Estonian to English (et-en), Nepali to English (ne-en), Sinhala to English (si-en). Each instance corresponds to a (source sentence, machine translation) pair and may carry one or more annotations: sentence-level direct assessment scores (DA, 0-100 range, providing raw mean `da_mean` and standardized mean `da_z_mean`), human post-edited text (`post_edit`, as the target for APE tasks), and domain labels (`domain`). The dataset ensures instance identity stability and traceability through deterministic content hashing (`uid`) and human-readable identifiers (`cadence_id`). It offers multiple configuration views to meet diverse research needs: the `qe-da` configuration (75,164 rows) includes all instances with DA labels, suitable for sentence-level QE tasks; the `ape` configuration (42,588 rows) includes all instances with human post-editing, suitable for APE tasks; the `challenge` configuration (11,401 rows) is the diagnostic challenge test set, annotated with 9 selection routes (`route`) to assess model performance differences on hard versus easy control samples; the `full` configuration includes all public instances; additionally, independent configurations for each language pair are provided. The dataset split ensures no overlap of source sentences across training, validation, and test sets. This dataset is applicable to tasks such as machine translation quality estimation, automatic post-editing, low-resource language processing, model robustness analysis, and prompt sensitivity studies.

原始信息汇总

数据集概述：IndicQE-APE

IndicQE-APE 是一个整合了多种低资源语言对的质量估计（QE）和自动译后编辑（APE）基准数据集，其测试集采用“测试优先、难度分层”的设计。

核心特性

属性	描述
总样本数	116,332
QE 标注样本	101,552 (直接评估分数)
译后编辑样本	42,588 (人工翻译)
策展挑战测试集	11,401
语言对	8个 (5个英语→印度语言 + 3个其他语言→英语)
任务	句子级QE、APE
评分尺度	0–100 (原始 da_mean) + z标准化 (da_z_mean)
样本标识	内容哈希 uid + 可读 cadence_id
许可证	cc-by-nc-4.0

包含语言对

• 策展的英语→印度语言： 英语 ↔ 印地语 (hi)、马拉地语 (mr)、泰米尔语 (ta)、泰卢固语 (te)、古吉拉特语 (gu)
• 透传的其他语言→英语： 爱沙尼亚语→英语 (et-en)、尼泊尔语→英语 (ne-en)、僧伽罗语→英语 (si-en)

数据集配置 (子集)

配置名	行数	训练/验证/测试	说明
qe-da	75,164	64,491 / 2,572 / 8,101	QE基准，每行均有DA标签
ape	42,588	36,549 / 1,150 / 4,889	APE基准，每行均有后编辑
challenge	11,401	— / — / 11,401	策展诊断测试集，难度分层
all	89,944	78,932 / 2,611 / 8,401	策展的英语→印度语言资源，包含所有任务
full	116,332	99,320 / 5,611 / 11,401	所有公开数据，包括透传对
en-hi	21,058	18,388 / 625 / 2,045	单语言对视图
en-mr	30,566	27,792 / 642 / 2,132	单语言对视图
en-ta	16,054	13,369 / 658 / 2,027	单语言对视图
en-te	13,157	11,713 / 331 / 1,113	单语言对视图
en-gu	9,109	7,670 / 355 / 1,084	单语言对视图
et-en	9,000	7,000 / 1,000 / 1,000	透传对 (MLQE-PE / WMT20)
ne-en	8,649	6,649 / 1,000 / 1,000	透传对 (MLQE-PE / WMT20)
si-en	8,739	6,739 / 1,000 / 1,000	透传对 (MLQE-PE / WMT20)

数据分割规则: 训练、验证、测试集在数据来源上是不重叠的（source-disjoint），即没有源句跨集重复出现。

数据字段

每行代表一个(源句, 机器翻译)实例。字段若无则值为 null。

字段	类型	说明
uid	string	确定性的内容哈希值，用于稳定实例身份
cadence_id	string	人类可读ID，格式如 WMTQEDA-ENHI-000123
sources	string	逗号分隔的数据来源集合
language_pair	string	语言对代码，如 en-hi
source	string	源句
mt	string	机器翻译（待评估或编辑的文本）
post_edit	string	人工后编辑（APE目标），若存在
reference	string	参考翻译，若存在
da_mean	float	QE标签。 直评分数均值 (0–100)
da_z_mean	float	z标准化DA分数均值
domain	string	领域标签 (health, tourism 等)
route	string	挑战集选择轴标识，非挑战行为空
difficulty	float	复合难度z分数
is_curated	bool	指示是否为策展的英语→印度语言实例

挑战测试集设计

challenge 配置是基准的核心，采用“测试优先”策略，优先选择最困难、信息量最大的实例。每个测试实例都通过 route 字段标记其入选原因。

选中路线 (Route)	选择信号	行数
A1_disagreement	标注者间高分歧 (中间分值段)	1,504
A2_edit_effort	高人工编辑工作量	867
A3_word_error	高错误密度词	862
A4_contradiction	跨任务矛盾	899
easy_control	匹配的简单实例	2,285
pair_floor	确保每个策展语言对≥1,000测试行	1,040
distributional	分值匹配补齐	775
co_selected	被多轴同时选中	169
uncurated	透传的X→En语言对	3,000

使用方式与评估指标

• 质量估计 (QE): 使用 source 和 mt 预测质量分数，再与 da_mean 计算相关性。推荐使用 GEMBA 提示。
  • 评估指标: Pearson, Spearman, Kendall-τ 相关性系数。
  • 核心指标: 在挑战集上计算 easy_control 到 A* 轴的相关性下降程度。
• 自动译后编辑 (APE): 使用 source 和 mt 生成纠正后的翻译，与 post_edit 比较。
  • 评估指标: sacreBLEU, chrF++, TER。
  • 应始终与“不编辑”基线（直接输出 mt）进行比较。

数据来源与质量

• 数据整合自 WMT QE 直评数据、领域特定 QE 数据和人工后编辑数据。
• 实例通过内容哈希 (uid) 实现精确匹配。
• 带有内置验证脚本 sanity_check.py，确保数据完整性、一致性，并报告“0 失败，0 警告”。

其他注意事项

• 数据集不包含英语→马拉雅拉姆语（En-Ml）及词级标签等受门控（gated）的扩展部分，这些内容在相关论文被接收后才会发布。

搜集汇总

数据集介绍

构建方式

IndicQE-APE数据集通过整合Surrey-NLP团队多年积累的机器翻译质量评估与自动译后编辑数据源构建而成，涵盖WMT QE直接评估数据、领域特定印地语质量评估及人工译后编辑等内容。该数据集以单一可配置资源形式呈现，每个实例封装了各类标注信息，包括直接评估分数、译后编辑结果及领域标签，并附带明确的来源追溯、确定性的内容哈希标识符及实例难度诊断信息。测试集并非随机划分，而是优先选取操作难度较大的实例，如质量存疑的翻译、流畅但不准确的译文及错误密集的片段，以确保质量评估和自动译后编辑在关键场景下的性能得到真实反映。

特点

IndicQE-APE数据集包含116,332个公共实例，涵盖8个语言对，包括英语到印地语、马拉地语、泰米尔语、泰卢固语、古吉拉特语，以及爱沙尼亚语到英语、尼泊尔语到英语、僧伽罗语到英语。数据集中每个实例均为源句与机器翻译的组合，提供直接评估分数、人工译后编辑文本、领域标签、注释者分歧指标及编辑难度等多维信息。特别地，挑战性测试集包含11,401个实例，通过难度分层策略筛选，包括注释者分歧、高编辑工作量、错误密集及跨任务矛盾等诊断维度，可用于评估模型在复杂场景下的鲁棒性。

使用方法

IndicQE-APE数据集支持两类主要任务。对于质量评估任务，用户输入源句和机器翻译，模型输出质量分数并与直接评估均值进行相关性分析，推荐使用GEMBA提示模板。对于自动译后编辑任务，模型需将机器翻译改写为修正版本，输出与人工译后编辑通过sacreBLEU、chrF++及TER等指标比较。数据集提供多个配置选项，包括涵盖所有语言对的`full`配置、仅含印地语方向的`en-hi`配置、专注于质量评估的`qe-da`配置及自动译后编辑的`ape`配置。建议在挑战性测试集上报告简单控制组与困难实例组之间的相关性下降幅度，以衡量模型的实际性能。

背景与挑战

背景概述

IndicQE-APE数据集由萨里大学自然语言处理研究团队于近年创建，旨在填补低资源语言机器翻译质量评估（QE）与自动译后编辑（APE）领域的基准缺失。该数据集合成了WMT QE Direct-Assessment数据、领域特定印地语QE标注以及人工译后编辑资源，覆盖英语与五种印度语言（印地语、马拉地语、泰米尔语、泰卢固语、古吉拉特语）及三种英语至其他低资源语言方向。其核心研究问题在于构建一个多任务、难度分层的诊断性基准，以标准化低资源语言对的QE与APE评估流程。该数据集通过源序列去重哈希标识符和标注完整性校验机制，确保了高质量的数据跨源融合，显著推动了南亚语言神经机器翻译评估方法的发展。

当前挑战

IndicQE-APE数据集旨在解决的核心挑战是低资源语言环境下机器翻译质量评估的可靠性问题。传统均衡随机划分的测试集无法有效反映模型在真实复杂场景中的表现，例如在有争议的翻译质量、流畅但存在语义错误的译文或错误密度较高的片段上，评估指标往往出现相关度崩溃。构建过程中遇到的挑战包括：跨多个标注来源的数据去重与协调，人工注释员对翻译质量的主观分歧量化，以及保证每个语言对至少拥有1000条测试样本以确保统计稳健性。此外，还需要设计难度分层机制，将高注解分歧、高编辑距离、跨任务矛盾等诊断性切片系统地合并到测试集中，从而实现更精确的模型鲁棒性评估。

常用场景

经典使用场景

在神经机器翻译的田野中，质量评估与自动译后编辑始终是衡量系统输出可靠性的双生课题。IndicQE-APE数据集恰如其分地构筑了一座多任务基准桥梁，将来自WMT QE直接评估、印地语系特定领域质量评估及人工译后编辑的数据资源统合于一体，为研究者提供了八个低资源语向（涵盖英语至印地语、马拉地语、泰米尔语等）的句级质量评估与自动译后编辑研究范式。尤为精妙的是，该数据集率先采用“测试优先、难度分层”的挑战性分割策略，刻意在测试集中加重标注了存在注解分歧、流利却错译以及错误密集的疑难片段，使模型性能的测评能够真实反映其在关键操作场景下的泛化能力。

衍生相关工作

作为质量评估与自动译后编辑领域的融合基准，IndicQE-APE衍生出了一系列经典研究工作。该数据集为GEMBA系列提示策略的敏感性分析提供了理想试验场，研究者可由此深入剖析直接评估提示与锚定语义评分提示在不同模型架构下的表现稳定性。另一方面，数据集独特的困难分割机制催生了针对鲁棒性评估的专门方法，例如利用“易→难相关系数跌落”作为新型诊断指标。此外，该资源还启发了面向低资源语向的神经质量评估指标（如COMET-Kiwi、xCOMET-QE和MetricX-QE）在挑战集上的适配与改进，并推动了跨任务矛盾检测这一前沿研究方向的发展。

数据集最近研究

最新研究方向

基于IndicQE-APE数据集的最新研究聚焦于低资源语言对机器翻译质量评估与自动译后编辑的多任务联合建模，尤其关注印地语、马拉地语、泰米尔语等印度次大陆语言与英语之间的翻译场景。该数据集通过精心设计的难度分层挑战测试集，将研究前沿引向对翻译质量歧义、编辑代价、错误密度及跨任务矛盾等复杂情境的深度诊断。当前热点在于利用大语言模型（如GEMBA提示策略）进行无参考质量评估，并测量模型在简单与困难样本间的相关性衰减，从而揭示评估指标在真实高风险场景中的鲁棒性。这一工作不仅推动了低资源机器翻译系统的可信度评估，也为构建更具判别力的神经质量评估体系提供了关键基准，对促进多语言自然语言处理的公平性与实用性具有深远意义。