nikitam/ACES

ACES数据集包含36,476个示例，覆盖146种语言对和68种现象，用于评估机器翻译指标的准确性错误。数据集基于多维质量指标（MQM）本体，涵盖从简单的字符/单词级别扰动到基于话语和现实世界知识的复杂错误。Span-ACES是ACES的扩展，错误翻译中的错误被明确标记为<span>格式。数据集主要用于评估机器翻译指标的准确性错误，并期望指标在_good-translation_上的得分始终高于_incorrect-translation_。

The ACES dataset comprises 36,476 instances spanning 146 language pairs and 68 phenomena, and is developed to evaluate accuracy-related errors in machine translation metrics. Grounded in the Multidimensional Quality Metric (MQM) ontology, the dataset covers errors ranging from simple character and word-level perturbations to complex errors based on discourse and real-world knowledge. Span-ACES is an extension of the ACES dataset, where errors in erroneous translations are explicitly marked using the <span> format. The primary purpose of this dataset is to assess accuracy errors of machine translation metrics, with the expectation that metrics will consistently assign higher scores to _good-translation_ than to _incorrect-translation_.

原始信息汇总

数据集概述

数据集名称

• ACES 和 Span-ACES

数据集概要

• ACES 包含36,476个示例，覆盖146种语言对，用于评估机器翻译度量标准。这些示例基于Multidimensional Quality Metrics (MQM) 本体，涵盖从简单的词/字符级扰动到基于话语和现实世界知识的复杂错误。
• Span-ACES 是ACES的扩展，错误在<v>span</v>格式中被明确标记。

支持的任务和排行榜

• 机器翻译度量评估
• 可能适用于对比机器翻译评估

语言覆盖

• 覆盖146种语言对，包括但不限于af-en, af-fa, ar-en, ar-fr, ar-hi, be-en, bg-en, bg-lt, ca-en, ca-es, cs-en, da-en, de-en, de-es, de-fr, de-ja, de-ko, de-ru, de-zh, el-en, en-af, en-ar, en-be, en-bg, en-ca, en-cs, en-da, en-de, en-el, en-es, en-et, en-fa, en-fi, en-fr, en-gl, en-he, en-hi, en-hr, en-hu, en-hy, en-id, en-it, en-ja, en-ko, en-lt, en-lv, en-mr, en-nl, en-no, en-pl, en-pt, en-ro, en-ru, en-sk, en-sl, en-sr, en-sv, en-ta, en-tr, en-uk, en-ur, en-vi, en-zh, es-ca, es-de, es-en, es-fr, es-ja, es-ko, es-zh, et-en, fa-af, fa-en, fi-en, fr-de, fr-en, fr-es, fr-ja, fr-ko, fr-mr, fr-ru, fr-zh, ga-en, gl-en, he-en, he-sv, hi-ar, hi-en, hr-en, hr-lv, hu-en, hy-en, hy-vi, id-en, it-en, ja-de, ja-en, ja-es, ja-fr, ja-ko, ja-zh, ko-de, ko-en, ko-es, ko-fr, ko-ja, ko-zh, lt-bg, lt-en, lv-en, lv-hr, mr-en, nl-en, no-en, pl-en, pl-mr, pl-sk, pt-en, pt-sr, ro-en, ru-de, ru-en, ru-es, ru-fr, sk-en, sk-pl, sl-en, sr-en, sr-pt, sv-en, sv-he, sw-en, ta-en, th-en, tr-en, uk-en, ur-en, vi-en, vi-hy, wo-en, zh-de, zh-en, zh-es, zh-fr, zh-ja, zh-ko。

数据集结构

• 数据实例：每个数据实例包含以下字段：source, good-translation, incorrect-translation, reference, phenomena, langpair。在Span-ACES中，还包括incorrect-translation-annotated和annotation-method。
• 数据字段：详细描述了每个字段的含义和内容。
• 数据分割：ACES数据集有一个分割：train，包含36,476个示例。Span-ACES的示例与ACES相同，但增加了两个额外的列，并存储在不同的_train_分割中。

数据集创建

• 采集理由：专注于准确性错误，因为这些错误在某些领域（如医疗和法律）可能产生严重后果。
• 源数据：数据集包含来自FLORES-101, FLORES-200, PAWS-X, XNLI, XTREME, WinoMT, Wino-X, MuCOW, EuroParl ConDisco, ParcorFull等数据集的句子。
• 个人和敏感信息：外部数据集可能包含敏感信息，请参考各自数据集的详细信息。

使用数据时的考虑

• 使用：ACES主要设计用于评估机器翻译度量标准在准确性错误上的表现。
• 偏见讨论：挑战集中的某些示例可能显示偏见，这是为了暴露现有度量标准的局限性。
• 其他已知限制：ACES在现象和示例数量上对en-de和en-fr语言对有更大的覆盖。此外，自动生成的示例比需要手动构建/筛选的示例更多。

许可信息

• ACES数据集：遵循Creative Commons Attribution Non-Commercial Share Alike 4.0 (cc-by-nc-sa-4.0)许可。

引用信息

• 对于ACES，引用格式为：

@inproceedings{amrhein-etal-2022-aces, title = "{ACES}: Translation Accuracy Challenge Sets for Evaluating Machine Translation Metrics", author = "Amrhein, Chantal and Moghe, Nikita and Guillou, Liane", booktitle = "Proceedings of the Seventh Conference on Machine Translation (WMT)", month = dec, year = "2022", address = "Abu Dhabi, United Arab Emirates (Hybrid)", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.wmt-1.44", pages = "479--513", }

• 对于Span-ACES，引用格式为：

@misc{moghe2024machine, title={Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets}, author={Nikita Moghe and Arnisa Fazla and Chantal Amrhein and Tom Kocmi and Mark Steedman and Alexandra Birch and Rico Sennrich and Liane Guillou}, year={2024}, eprint={2401.16313}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在机器翻译评估领域，随着神经网络的普及，翻译输出的流畅性虽显著提升，但准确性错误在医疗、法律等关键领域可能引发严重后果。ACES数据集应运而生，聚焦于翻译准确性错误的评估。该数据集基于多维质量指标（MQM）本体论，涵盖68种语言现象，从简单的词/字符级扰动到复杂的语篇和现实世界知识错误。构建过程中，研究团队从FLORES-101、PAWS-X、XNLI等多个现有数据集中抽取句子，通过自动化和手动方式生成包含特定错误的翻译对，并确保错误翻译的质量始终低于正确翻译。Span-ACES作为扩展版本，进一步明确标注了错误翻译中的错误跨度。

特点

ACES数据集以其多语言覆盖和现象多样性著称，包含36,476个实例，覆盖146个语言对，如英-德、英-法等。其核心特点在于专注于翻译准确性错误，而非流畅性错误，通过对比正确翻译与错误翻译，为机器翻译评估指标提供细粒度的测试。数据集中的每个实例均包含源句、正确翻译、错误翻译、参考翻译、错误现象类型及语言对信息。Span-ACES则额外提供错误标注跨度，便于定位具体错误位置。此外，ACES兼顾简单与复杂现象，既测试指标对已解决问题的一致性，也挑战其处理新型错误的能力。

使用方法

ACES主要用于评估机器翻译评估指标在准确性错误上的表现。使用时，用户需加载数据集中的挑战集，通过计算指标对正确翻译与错误翻译的评分一致性，以Kendall-tau类相关系数衡量性能。具体而言，指标应始终对正确翻译给出高于错误翻译的分数。数据集在HuggingFace上以两个配置提供：ACES和Span-ACES，均包含单一训练分割。用户可通过加载配置直接获取实例，并利用提供的字段进行对比分析。Span-ACES的标注跨度信息可进一步用于细粒度的错误分析，如定位添加、遗漏等具体错误类型。

背景与挑战

背景概述

在机器翻译领域，随着基于Transformer的神经架构的兴起，译文流畅度显著提升，但准确度错误（如语义扭曲、信息遗漏或添加）仍可能带来严重后果，尤其在医疗和法律等高风险场景。为此，由Chantal Amrhein、Nikita Moghe和Liane Guillou等研究人员于2022年创建的ACES数据集，旨在系统性地评估机器翻译评估指标对翻译准确度的敏感度。该数据集依托多维质量指标（MQM）本体，覆盖了从字符级扰动到篇章级与现实世界知识依赖的68种语言现象，涵盖146种语言对，共36,476个实例。其核心研究问题在于：现有指标能否可靠区分正确与错误译文？ACES通过提供对比性测试集，推动了翻译评估研究向更细粒度、更具挑战性的方向发展，成为WMT等评测任务的重要基准。

当前挑战

ACES数据集所应对的核心挑战在于翻译准确度错误的多样性及其对评估指标的欺骗性。首先，准确度错误涉及词汇选择、句法结构、语义角色、篇章连贯性及常识推理等多个层面，传统评估指标（如BLEU）往往难以捕捉此类细微差异。其次，构建过程中面临显著困难：自动生成错误示例依赖外部资源（如多语言WordNet），仅适用于部分语言；手动构建的案例则受限于研究人员语言能力，导致高资源语言对（如英德、英法）覆盖更广，低资源语言对代表性不足。此外，源数据（如FLORES、XNLI）中的固有偏差可能被传播至ACES，尽管通过确保错误译文质量始终低于正确译文来缓解，但偏差仍可能影响指标评估的公平性。最后，ACES专注于准确度，未涉及流畅度错误，这限制了其全面性，未来需补充对应测试集。

常用场景

经典使用场景

ACES数据集专为评估机器翻译评价指标对翻译准确性错误的敏感度而构建，涵盖146种语言对和68种细粒度错误现象。其经典使用场景在于通过对比良好翻译与包含特定错误（如词汇添加、语义偏差、语篇不一致等）的错误翻译，计算指标对二者排序的一致性（如Kendall-tau相关系数），从而系统性地检验指标在区分不同错误类型时的鲁棒性与局限性。该挑战集的设计基于多维质量指标（MQM）本体，使得研究者能够深入剖析翻译评价模型在字词级、句法级乃至语篇与常识层面的薄弱环节。

实际应用

在实际应用中，ACES数据集可服务于机器翻译系统的质量监控与迭代优化。企业或研究机构可利用该挑战集对内部部署的翻译模型进行压力测试，识别其在特定语言对或错误类型上的系统性缺陷，从而指导针对性改进（如增强对罕见词、习语或长距离依赖的建模能力）。此外，Span-ACES扩展版本通过显式标注错误跨度，为细粒度错误诊断与可视化提供了数据基础，有助于开发自动化的翻译质量审核工具，提升人机协作翻译的效率与可靠性。

衍生相关工作

ACES数据集衍生了一系列推动翻译评价领域发展的经典工作。其核心论文（Amrhein等，2022）首次系统性地将MQM本体与大规模多语言挑战集结合，为后续研究（如Moghe等，2024的Span-ACES）提供了范式基础。基于ACES，研究者提出了针对特定现象（如反事实推理、语篇连贯性）的增强版评价指标，并催生了跨语言评价鲁棒性分析、低资源语言评价瓶颈探索等子课题。此外，该数据集被WMT评测任务采纳为标准化测试工具，促进了全球团队对指标性能的横向对比与迭代优化。