flores_plus_gender

FLORES+Gender数据集基于Meta开发的FLORES+基准测试，旨在评估机器翻译系统中的性别偏见。与通常从无性别语言翻译到有性别语言的方法不同，该数据集采用反向方法，分析从有性别语言（西班牙语或英语）翻译到无性别语言（巴斯克语）时，源语句的主要语法性别是否影响翻译质量。数据集为每种源语言提供两种对比版本：一种包含所有句子为男性形式，另一种为女性形式。西班牙语集包含363个带有性别参考的句子，英语集包含155个。所有句子均经过手动调整以保持语义等效。每个实例还手动标注了可能影响翻译行为的三个语言和上下文因素：多实体（ME）、专有名词（PN）和无标记男性（UM，仅西班牙语）。数据集适用于评估源语言语法性别对翻译质量的影响。

原始信息汇总

FLORES+Gender 数据集概述

数据集基本信息

• 许可证：cc-by-sa-4.0
• 任务类别：翻译
• 涉及语言：西班牙语、英语、巴斯克语
• 数据规模：小于1K
• 标签：性别、偏见、质量

数据集描述

该数据集基于Meta开发的FLORES+基准构建，旨在评估低资源语言的机器翻译系统。FLORES+Gender专门用于评估机器翻译中的性别偏见。与通常从无性别语言翻译到有性别语言的研究方法不同，本数据集遵循Costa-jussà等人的方法，反向分析当从有性别语言翻译到无性别语言时，源语句的主要语法性别是否会影响翻译质量。

数据构成

数据集包含两个配置：

• 西班牙语配置：包含363个带有性别指代的句子。
• 英语配置：包含155个带有性别指代的句子。

每个源语言都包含两个对比版本：一个版本所有句子为阳性形式，另一个版本为相同的句子但为阴性形式。所有句子均经过手动调整，以在保持语义对等的同时生成性别受控的句子对。

标注信息

每个实例都手动标注了三个可能影响翻译行为的语言和上下文因素：

• ME：句子是否提及多个有性别的人类指代。
• PN：是否包含有性别的专有名词。
• UM：阳性形式是否被用作未标记或通用形式。

数据结构

每行数据包含以下列：

• sentence_m：句子的阳性版本。
• reference_m：阳性句子的巴斯克语参考翻译。
• sentence_f：句子的阴性版本。
• reference_f：阴性句子的巴斯克语参考翻译。
• ME：表示是否存在多个有性别实体的二进制标签。
• PN：表示是否存在专有名词的二进制标签。
• UM：表示阳性形式是否被用作未标记或通用形式的二进制标签。

使用目的

FLORES+Gender可用于评估源语言的语法性别在翻译到无性别语言时如何影响翻译质量。

引用信息

使用本数据集时，请引用原始FLORES-200论文以及介绍FLORES+Gender的论文。

联系方式

[e-mail]

搜集汇总

数据集介绍

构建方式

在机器翻译评估领域，FLORES+Gender数据集以Meta开发的FLORES+基准为基础，专为探究翻译中的性别偏见而设计。该数据集创新性地采用了反向评估策略，即从具有语法性别特征的语言（西班牙语或英语）翻译至无性别语言（巴斯克语），以考察源语句子的主要语法性别是否影响翻译质量。构建过程中，研究人员为每种源语言手工创建了对比版本：一个包含所有句子的阳性形式，另一个则包含相同句子的阴性形式，确保语义对等。西班牙语集合涵盖363个带有性别指涉的句子，英语集合则包含155个，每个实例均经过人工标注，记录了多重实体、专有名词及未标记阳性等可能影响翻译行为的语言学因素。

使用方法

使用FLORES+Gender数据集时，研究者可将其作为评估工具，以衡量源语言的语法性别在翻译至无性别语言过程中对翻译质量的影响。典型应用包括计算不同性别形式句子翻译的自动评估指标（如BLEU分数）差异，从而量化性别偏见。进一步地，利用数据集提供的语言学标注，可以进行更深入的分析，例如探究专有名词的存在是否会加剧或缓解性别偏见，或者未标记阳性形式在翻译中是否表现出特定的偏差模式。该数据集为机器翻译领域的偏见研究提供了标准化、可复现的实验基准。

背景与挑战

背景概述

FLORES+Gender数据集由巴斯克大学的研究团队于2026年构建，旨在深化机器翻译领域中的性别偏见评估研究。该数据集基于Meta公司开发的FLORES+基准，专注于分析从有性别语言（如西班牙语或英语）向无性别语言（如巴斯克语）翻译过程中，源语句法性别对翻译质量的影响。其核心研究问题在于揭示翻译系统在处理不同性别形式时可能存在的质量差异，为自然语言处理领域的公平性与鲁棒性提供了重要的实证基础。

当前挑战

该数据集致力于解决机器翻译中性别偏见检测的挑战，特别是在翻译方向反转情境下，如何准确量化语法性别对翻译质量的影响。构建过程中的主要挑战包括：人工创建语义等效的性别对照句子对，确保语言自然性与控制变量；以及设计精细的标注体系（如多实体、专有名词、未标记阳性形式），以捕捉影响翻译行为的复杂语言学因素，从而支持更细粒度的偏见分析。

常用场景

经典使用场景

在机器翻译领域，评估系统在处理性别信息时的表现至关重要，FLORES+Gender数据集为此提供了经典场景。该数据集通过构建西班牙语和英语的性别对比句子对，并翻译至无性别语言巴斯克语，专门用于分析源语言中的语法性别如何影响翻译质量。研究者利用这一数据集，能够系统性地检测翻译模型在转换性别标记时是否存在偏见，例如是否因源句的性别倾向而产生质量差异，从而为公平性评估奠定基础。

解决学术问题

FLORES+Gender数据集致力于解决机器翻译中性别偏见检测的学术难题。传统方法多关注从无性别语言到有性别语言的翻译偏差，而该数据集创新性地逆转方向，探究从有性别语言到无性别语言翻译过程中，源句的语法性别是否导致质量波动。它通过手动标注的多实体、专有名词和未标记阳性等语言学因素，支持细粒度分析，帮助学术界深入理解性别偏见与翻译行为的交互机制，推动了公平自然语言处理研究的发展。

实际应用

在实际应用中，FLORES+Gender数据集为开发更公平的机器翻译系统提供了关键工具。科技公司和研究机构可借助该数据集评估其翻译模型在性别敏感语境下的性能，确保输出不因源语言性别形式而产生质量下降或偏见。例如，在跨语言内容生成、多语言客服系统或教育工具中，使用该数据集进行测试和优化，能提升系统在多样化社会语境中的可靠性和包容性，促进技术在实际场景中的负责任部署。

数据集最近研究

最新研究方向

在机器翻译领域，性别偏见评估正从传统方向转向逆向分析，FLORES+Gender数据集通过将源语言从有性别标记的西班牙语或英语翻译至无性别标记的巴斯克语，揭示了语法性别对翻译质量的影响。该数据集结合了男性与女性形式的对比句子及精细的语言学标注，如多实体、专有名词和未标记阳性用法，为探究不同语言线索如何与翻译中的性别偏见相互作用提供了新视角。这一研究不仅推动了低资源语言翻译的公平性评估，还关联到当前人工智能伦理中的去偏见热点，对构建更具包容性的自然语言处理系统具有重要实践意义。