zouharvi/bio-mqm-dataset

该数据集是从官方亚马逊仓库编译而来，包含系统翻译、多个参考译文及其在MQM尺度上的质量评估。数据集涵盖了生物医学领域的11种语言对，用于研究在训练和推理之间领域转移的情况下，经过微调的机器翻译指标是否稳健。研究发现，与依赖表面形式的指标以及未在机器翻译质量判断上微调的预训练指标相比，微调指标在未见领域场景中表现出显著的性能下降。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 语言:
  • 英语 (en)
  • 德语 (de)
  • 西班牙语 (es)
  • 巴斯克语 (eu)
  • 法语 (fr)
  • 意大利语 (it)
  • 葡萄牙语 (pt)
  • 俄语 (ru)
  • 中文 (zh)
• 任务类别: 翻译
• 数据集名称: Biomedical MQM Dataset
• 数据集大小: 10K<n<100K
• 标签:
  • mqm
  • quality
  • bio
  • medical

数据内容

• 来源: 来自官方的 Amazon repository
• 内容: 包含系统翻译、多个参考翻译及其在MQM量表上的质量评估。
• 相关论文: Fine-Tuned Machine Translation Metrics Struggle in Unseen Domains

数据示例

json { "src": "From 2004 to 03/2020, overall 449 pats. underwent EUS-guided cholangiodrainage (n = 37 pats. with cholangiolithiasis).", "tgt": "Von 2004 bis 03/2020 wurden insgesamt 449 Pat. einer EUS-gesteuerten Cholangiodrainage unterzogen (n = 37 Pat. mit Cholangiolithiasis).", "ref": [ "Von 2004 bis 03/2020 wurden insgesamt 449 Pat. einer EUS-gestützten Gallenwegdrainage unterzogen (n = 37 Pat. mit Cholangiolithiasis).", "Von 2004 bis 03/2020 wurden insgesamt 449 Pat. einer EUS-gestützten Gallenwegdrainage unterzogen (n = 37 Pat. mit Cholangiolithiasis)." ], "system": "HuaweiTSC_run1", "lang_src": "en", "lang_tgt": "de", "annotator": "RH1/ende", "errors_src": [], "errors_tgt": [ {"term": "03/2020", "startIndex": 13, "endIndex": 19, "error_category": "Locale_conventions", "error_subcategory": "Date_format", "severity": "Minor"}, {"term": "Cholangiolithiasis", "startIndex": 115, "endIndex": 132, "error_category": "Accuracy", "error_subcategory": "Mistranslation", "severity": "Minor"} ], "doc_id": "doc42" }

引用信息

@misc{zouhar2024finetuned, title={Fine-Tuned Machine Translation Metrics Struggle in Unseen Domains}, author={Vilém Zouhar and Shuoyang Ding and Anna Currey and Tatyana Badeka and Jenyuan Wang and Brian Thompson}, year={2024}, eprint={2402.18747}, archivePrefix={arXiv}, primaryClass={cs.CL} }