zouharvi/optimal-reference-translations

该数据集用于研究机器翻译参考译文的质量和数量对自动评估指标性能的影响，以及创建更可靠的人类参考译文的方法。数据集包含两个配置文件：ort_human和ort_wmt，分别用于人类翻译的评估和WMT系统翻译的评估。数据集基于WMT2020数据，包含英语到捷克语的翻译和评估数据。数据集的创建过程包括独立翻译、专家翻译和不同人类注释者的详细评估。

原始信息汇总

数据集概述

基本信息

• 许可证: cc
• 配置:
  • ort_human: 数据文件为 ort_human.json
  • ort_wmt: 数据文件为 ort_wmt.json，默认配置
• 任务类别: 翻译
• 语言: 捷克语 (cs), 英语 (en)
• 标签: 质量, 人工翻译, 评估
• 友好名称: Optimal Reference Translations
• 大小类别: 1K<n<10K

数据集描述

该数据集用于两篇论文：

1. Quality and Quantity of Machine Translation References for Automated Metrics - 研究参考质量与数量对自动评估指标性能的影响。
2. Evaluating Optimal Reference Translations - 创建数据集并探讨人工标注和翻译的人文方面。

数据结构

• ort_wmt: 包含多个WMT系统的翻译评估数据。
• ort_human: 包含多个人工翻译的评估数据。

数据处理流程

1. R1, R2, R3 是从英语到捷克语的独立翻译，R4 是翻译专家的翻译。
2. 所有人工翻译在文档和段落级别进行详细评估，并由不同类型的人工标注者（普通人群、翻译学学生、专业翻译）进行评分。

示例用法

python from datasets import load_dataset data = load_dataset("zouharvi/optimal-reference-translations", ort_human)["train"]

220 个标注文档

len(data)

1760 个标注源行

sum([len(doc["lines"]) for doc in data])

7040 个标注翻译

sum([sum([len(line["translations"]) for line in doc["lines"]]) for doc in data])

11 个标注者

len(set(doc["uid"] for doc in data))

import numpy as np

R4 的平均文档级别评分: 5.865

np.average([doc["rating"]["4"]["overall"] for doc in data])

R3 的平均文档级别评分: 4.810

np.average([doc["rating"]["3"]["overall"] for doc in data])