orhunc/Bias-Evaluation-Turkish

该数据集是对May等人（2019）提出的偏见评估框架的土耳其语翻译，包含37个测试，旨在评估性别偏见以及针对土耳其库尔德人的种族偏见。研究还探讨了预训练语言模型在处理性别中性语言（如土耳其语）时可能产生的性别刻板印象问题，并提出了减少这些偏见的重要性。

原始信息汇总

数据集概述

数据集内容

• 该数据集是对May et al. (2019)提出的偏见评估框架的翻译，从英文翻译为土耳其语。
• 数据集包含37项测试，涵盖性别偏见测试以及针对土耳其语境下库尔德人民族偏见的测试。

研究背景

• 随着预训练语言模型规模的增大，这些模型在自然语言处理任务中取得了显著进步，但同时也可能吸收了大量网络数据中的社会刻板印象和偏见。
• 在性别中立语言如土耳其语中，机器翻译可能会引入性别刻板印象，例如将土耳其语中的性别中立代词转换为英语中的性别特定代词。

研究目的

• 本研究旨在填补现有研究主要集中在英语语言上的空白，特别是关于性别偏见的研究，通过探索土耳其语等性别中立语言中的性别偏见。
• 研究使用了现有的偏见评估框架，通过翻译现有英语数据集和创建新的数据集来测量土耳其语境下的性别偏见，并扩展测试框架以评估土耳其模型中对库尔德人的民族偏见。

研究成果

• 根据测试结果，研究提出了偏见与模型特征（如模型大小、多语言性和训练语料库）之间可能的关联。