FBK-MT/Neo-GATE

Neo-GATE是一个双语语料库，旨在评估机器翻译系统在使用性别包容性新词素从英语翻译成意大利语时的能力。该数据集基于GATE构建，包含841个测试条目和100个开发条目。每个条目包括一个英语源句子和三个意大利语参考句子，这些参考句子在性别标记词的使用上有所不同。数据集的设计允许评估任何意大利语中的新词素范式，并提供了适应不同新词素范式的工具和脚本。

Neo-GATE is a bilingual corpus designed to benchmark the ability of machine translation (MT) systems to translate from English into Italian using gender-inclusive neomorphemes. It includes 841 test entries and 100 dev entries. Each entry consists of an English source sentence and three Italian references which differ in the use of gender-marked terms. The dataset is designed to evaluate any neomorpheme paradigm in Italian and provides tools and scripts for adapting to different neomorpheme paradigms.

原始信息汇总

数据集概述

数据集名称

Neo-GATE

数据集描述

Neo-GATE是一个双语语料库，旨在评估机器翻译（MT）系统从英语到意大利语使用性别包容性新形态词的翻译能力。该数据集基于GATE，一个用于评估性别重写器和MT中性别偏见的基准。

数据集内容

• 测试集：包含841个条目，文件名为Neo-GATE.tsv。
• 开发集：包含100个条目，文件名为Neo-GATE-dev.tsv。

每个条目包括一个英语源句子，三个意大利语参考句子（分别使用男性、女性和非二元性别词汇），以及用于评估性别包容性MT的目标词注释。

数据字段

• #：Neo-GATE唯一标识符。
• GATE-ID：条目在GATE中的唯一标识符。
• SOURCE：英语源句子。
• REF-M：意大利语参考句子，所有性别标记词为男性。
• REF-F：意大利语参考句子，所有性别标记词为女性。
• REF-TAGGED：意大利语参考句子，所有性别标记词带有Neo-GATE的注释。
• ANNOTATION：词级注释。

数据集创建

数据集的详细创建过程请参考原始论文。

数据集适应性

为适应特定的新形态词范式，需要一个.json文件，将Neo-GATE的标签集映射到所需形式。使用neo-gate_format.py脚本进行格式转换。

许可证

数据集遵循Creative Commons Attribution 4.0 International license (CC BY 4.0)。

引用信息

使用该数据集时，请引用以下论文：

@misc{piergentili2024enhancing, title={Enhancing Gender-Inclusive Machine Translation with Neomorphemes and Large Language Models}, author={Andrea Piergentili and Beatrice Savoldi and Matteo Negri and Luisa Bentivogli}, year={2024}, eprint={2405.08477}, archivePrefix={arXiv}, primaryClass={cs.CL} }