nikitam/ACES
收藏数据集概述
数据集名称
- ACES 和 Span-ACES
数据集概要
- ACES 包含36,476个示例，覆盖146种语言对，用于评估机器翻译度量标准。这些示例基于Multidimensional Quality Metrics (MQM) 本体，涵盖从简单的词/字符级扰动到基于话语和现实世界知识的复杂错误。
- Span-ACES 是ACES的扩展，错误在<v>span</v>格式中被明确标记。
支持的任务和排行榜
- 机器翻译度量评估
- 可能适用于对比机器翻译评估
语言覆盖
- 覆盖146种语言对，包括但不限于af-en, af-fa, ar-en, ar-fr, ar-hi, be-en, bg-en, bg-lt, ca-en, ca-es, cs-en, da-en, de-en, de-es, de-fr, de-ja, de-ko, de-ru, de-zh, el-en, en-af, en-ar, en-be, en-bg, en-ca, en-cs, en-da, en-de, en-el, en-es, en-et, en-fa, en-fi, en-fr, en-gl, en-he, en-hi, en-hr, en-hu, en-hy, en-id, en-it, en-ja, en-ko, en-lt, en-lv, en-mr, en-nl, en-no, en-pl, en-pt, en-ro, en-ru, en-sk, en-sl, en-sr, en-sv, en-ta, en-tr, en-uk, en-ur, en-vi, en-zh, es-ca, es-de, es-en, es-fr, es-ja, es-ko, es-zh, et-en, fa-af, fa-en, fi-en, fr-de, fr-en, fr-es, fr-ja, fr-ko, fr-mr, fr-ru, fr-zh, ga-en, gl-en, he-en, he-sv, hi-ar, hi-en, hr-en, hr-lv, hu-en, hy-en, hy-vi, id-en, it-en, ja-de, ja-en, ja-es, ja-fr, ja-ko, ja-zh, ko-de, ko-en, ko-es, ko-fr, ko-ja, ko-zh, lt-bg, lt-en, lv-en, lv-hr, mr-en, nl-en, no-en, pl-en, pl-mr, pl-sk, pt-en, pt-sr, ro-en, ru-de, ru-en, ru-es, ru-fr, sk-en, sk-pl, sl-en, sr-en, sr-pt, sv-en, sv-he, sw-en, ta-en, th-en, tr-en, uk-en, ur-en, vi-en, vi-hy, wo-en, zh-de, zh-en, zh-es, zh-fr, zh-ja, zh-ko。
数据集结构
- 数据实例：每个数据实例包含以下字段：source, good-translation, incorrect-translation, reference, phenomena, langpair。在Span-ACES中，还包括incorrect-translation-annotated和annotation-method。
- 数据字段：详细描述了每个字段的含义和内容。
- 数据分割：ACES数据集有一个分割：train，包含36,476个示例。Span-ACES的示例与ACES相同，但增加了两个额外的列，并存储在不同的_train_分割中。
数据集创建
- 采集理由：专注于准确性错误，因为这些错误在某些领域（如医疗和法律）可能产生严重后果。
- 源数据：数据集包含来自FLORES-101, FLORES-200, PAWS-X, XNLI, XTREME, WinoMT, Wino-X, MuCOW, EuroParl ConDisco, ParcorFull等数据集的句子。
- 个人和敏感信息：外部数据集可能包含敏感信息，请参考各自数据集的详细信息。
使用数据时的考虑
- 使用：ACES主要设计用于评估机器翻译度量标准在准确性错误上的表现。
- 偏见讨论：挑战集中的某些示例可能显示偏见，这是为了暴露现有度量标准的局限性。
- 其他已知限制：ACES在现象和示例数量上对en-de和en-fr语言对有更大的覆盖。此外，自动生成的示例比需要手动构建/筛选的示例更多。
许可信息
- ACES数据集：遵循Creative Commons Attribution Non-Commercial Share Alike 4.0 (cc-by-nc-sa-4.0)许可。
引用信息
- 对于ACES，引用格式为：
@inproceedings{amrhein-etal-2022-aces, title = "{ACES}: Translation Accuracy Challenge Sets for Evaluating Machine Translation Metrics", author = "Amrhein, Chantal and Moghe, Nikita and Guillou, Liane", booktitle = "Proceedings of the Seventh Conference on Machine Translation (WMT)", month = dec, year = "2022", address = "Abu Dhabi, United Arab Emirates (Hybrid)", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.wmt-1.44", pages = "479--513", }
- 对于Span-ACES，引用格式为：
@misc{moghe2024machine, title={Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets}, author={Nikita Moghe and Arnisa Fazla and Chantal Amrhein and Tom Kocmi and Mark Steedman and Alexandra Birch and Rico Sennrich and Liane Guillou}, year={2024}, eprint={2401.16313}, archivePrefix={arXiv}, primaryClass={cs.CL} }
