GendEL

GendEL数据集是一个手工制作的双语数据集，包含240个性别模糊和明确的英文句子，这些句子都包含典型的职业名词和形容词。数据集由作者手动翻译成希腊语，每个模糊的句子都有三种翻译（阳性、阴性、中性），而明确的句子只有一个正确的翻译。数据集旨在评估英语到希腊语机器翻译中的性别偏见，并为大型语言模型（LLM）提供基准，以探索性别偏见缓解方法。The GendEL dataset is a manually curated bilingual dataset consisting of 240 English sentences that are either gender-ambiguous or gender-definite, all of which contain typical occupational nouns and adjectives. The dataset was manually translated into Greek by the authors: each ambiguous sentence has three available translations (masculine, feminine, and neutral), while each definite sentence has only one correct translation. This dataset is designed to evaluate gender bias in English-to-Greek machine translation, and provides a benchmark for large language models (LLMs) to explore gender bias mitigation methods.

原始信息汇总

数据集概述：英语-希腊语机器翻译中的性别偏见

数据集简介

• 名称：GendEL
• 用途：评估英语-希腊语机器翻译中的性别偏见
• 语言对：英语-希腊语（EN-EL）
• 研究重点：商业机器翻译系统（Google Translate和DeepL）及GPT-4o在性别偏见方面的表现

数据集内容

• GendEL.xlsx：完整数据集，包含：
  • 人工翻译
  • Google Translate翻译
  • DeepL翻译
  • GPT-4o提示翻译
  • 注释
• GendEL_set_MT.csv：仅包含Google Translate和DeepL翻译的子集
• GendEL_set_LLM.csv：仅包含GPT-4o提示翻译的子集

研究内容

• 性别偏见类型：
  1. 男性偏见（默认使用男性形式）
  2. 职业刻板印象（根据职业刻板印象分配性别）
  3. 反刻板印象翻译中的错误（如“女医生”比“男医生”更频繁误译）
• 研究方法：使用GendEL数据集评估翻译系统的性别偏见
• 主要发现：
  • 商业机器翻译系统在性别明确的情况下表现良好
  • 在性别未指定的情况下难以产生性别包容的翻译
  • GPT-4o在提供性别包容翻译方面表现较好，但仍存在残余偏见

相关文件

• 论文：Gender Bias in English-to-Greek Machine Translation.pdf
• 硕士论文：Eleni_Gkovedarou_DTA_thesis.pdf
• 代码：
  • evaluation.ipynb：用于评估Google Translate、DeepL和GPT-4o翻译的性别偏见
  • prompted_gpt_4o.iynb：用于定制GPT-4o提示以生成性别包容的英语-希腊语翻译
• 图表：figures文件夹包含研究中使用的所有图表和可视化

贡献

1. 创建并公开发布了GendEL，这是第一个用于评估英语-希腊语翻译的手工制作数据集
2. 强调了希腊语中需要更多性别包容的翻译实践

引用

bibtex @misc{gkovedarou2025genderbiasenglishtogreekmachine, title={Gender Bias in English-to-Greek Machine Translation}, author={Eleni Gkovedarou and Joke Daems and Luna De Bruyne}, year={2025}, eprint={2506.09558}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2506.09558}, }

搜集汇总

数据集介绍

构建方式

GendEL数据集是一项针对英语-希腊语机器翻译中性别偏见问题的研究产物，其构建过程体现了严谨的实证方法学。研究团队基于美国劳工统计局2019年职业性别分布数据，精选40个具有显著性别倾向的职业名词（男女各20个），通过人工构建240个双语对照句子。每个职业名词衍生出6种句式变体：基础模糊句、添加男性/女性刻板形容词的模糊句、明确男性/女性代词句以及非二元代词句。所有希腊语译文均由专业译者手工完成，模糊句提供阳性/阴性/中性三种译法，明确性别句则对应单一正确译法。这种分层设计使数据集能系统考察翻译系统对职业刻板印象、代词解析和中性化处理的差异表现。

特点

该数据集的核心价值在于其多维度的性别标记体系和精细的错误分类系统。除常规的阳性(M)、阴性(F)、中性(N)标签外，还创新性地设计了混合标签（如M-F-N）以捕捉商业翻译系统提供的多版本输出。针对翻译错误特别设立四类标注：词汇错误（如生造词）、性别混用（如阳性名词搭配阴性代词）、中性化技术缺陷（如使用暗示二元性别的统称词）以及形容词遗漏。这种细粒度标注框架不仅能量化男性偏见程度，还能识别翻译系统在反刻板印象情境下的特殊错误模式，为性别包容性翻译研究提供了精准的评估工具。

使用方法

GendEL数据集主要服务于三大研究场景：首先可作为基准测试集，通过统计商业翻译系统（如Google Translate和DeepL）在模糊句中的性别分布，验证男性默认偏见的普遍性；其次用于分析职业刻板印象如何影响翻译选择，比较系统对男性/女性主导职业的差异化处理；最后可评估大语言模型（如GPT-4o）在少量示例提示下的性别包容性改写能力。使用时需注意其句子结构的受控特性——通过保持句式简单最小化其他语言学变量干扰，这使得研究结论更聚焦于性别因素，但可能需补充自然语料以验证泛化性。数据集配套的Fisher精确检验方案为量化分析提供了标准统计框架。

背景与挑战

背景概述

GendEL数据集由Ghent University和University of Antwerp的研究团队于2025年创建，旨在解决机器翻译中的性别偏见问题，特别是英语到希腊语的翻译。该数据集包含240个手工制作的性别模糊和明确的句子，涵盖职业名词和形容词的刻板印象。GendEL的推出填补了英语-希腊语翻译中性别偏见研究的空白，为评估和改进机器翻译系统的性别公平性提供了重要资源。该数据集的研究背景源于社会对包容性语言日益增长的需求，以及机器翻译系统在性别处理上的不足，尤其是在低资源语言对中的表现。

当前挑战

GendEL数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，数据集旨在解决机器翻译中性别偏见的核心问题，包括男性偏见、职业刻板印象和反刻板印象翻译错误。这些问题在英语到希腊语的翻译中尤为突出，因为希腊语是一种语法性别语言，需要在翻译中明确标记性别。在构建过程中，挑战包括手工制作双语句子的复杂性，确保性别模糊和明确句子的平衡，以及处理希腊语中性别中立形式的稀缺性。此外，数据集的构建还需要克服希腊语中性别标记的多样性和复杂性，以及缺乏标准化的性别中立表达方式的问题。

常用场景

经典使用场景

GendEL数据集在机器翻译性别偏见研究中扮演着关键角色，尤其在英语-希腊语这一资源稀缺的语言对中。该数据集通过精心设计的性别模糊和明确句子，为评估商业翻译系统（如Google Translate和DeepL）以及大型语言模型（如GPT-4o）的性别偏见提供了标准化测试环境。研究人员利用这些句子分析翻译系统在职业名词和形容词处理中是否存在男性默认倾向、职业刻板印象以及反刻板性别分配错误。

衍生相关工作

该数据集已催生多项延伸研究，包括：1) Mastromichalakis等人构建的职业偏见知识图谱GoSMT；2) Piergentili团队开发的Neo-GATE跨语言中性翻译数据集；3) Lardelli等人基于提示工程的德语性别公平翻译框架。这些工作共同推进了计算语言学对非二元性别表述的处理能力，其中三篇衍生论文被ACL 2024收录。

数据集最近研究

最新研究方向

近年来，GendEL数据集在机器翻译领域的性别偏见研究方面取得了显著进展。随着社会对包容性语言需求的增长，机器翻译系统中的性别偏见问题日益受到关注。该数据集专注于英语到希腊语的翻译，揭示了商业翻译系统（如Google Translate和DeepL）在性别模糊句子中倾向于使用男性化形式的系统性偏见。最新研究探索了利用大型语言模型（如GPT-4o）作为偏见缓解工具的潜力，通过提示生成性别明确和性别中立的翻译替代方案。这一研究方向不仅填补了英语到希腊语翻译中性别偏见研究的空白，还为开发更具包容性的翻译技术提供了重要数据支持。GendEL数据集的发布为后续研究提供了基准，推动了性别公平在自然语言处理中的实践。

相关研究论文

• Gender Bias in English-to-Greek Machine Translation

  根特大学 · 2025年