mozaman36/GenAssocBias

GenAssocBias是一个用于测量大型语言模型（LLMs）中刻板印象偏见的数据集。该数据集包含11,940个句子，涵盖了年龄歧视、美丽、美丽职业、国籍和制度偏见等多个方面。数据集支持的任务是多选题回答，语言为英语。数据集的8个列包括偏见类型、目标性别、上下文、项目类别、类型类别、反刻板印象、刻板印象和不相关属性。

原始信息汇总

数据集概述

数据集名称：GenAssocBias

数据集目的：测量大型语言模型（LLMs）中的刻板印象偏见。

数据集内容：包含11,940个句子，用于评估模型在年龄歧视、美貌、美貌与职业、国籍和机构偏见等方面的偏好。

支持的任务：多项选择问答。

语言：英语（en）。

数据集结构

数据集包含8个列：

1. bias_type：表示不同类型的偏见，包括年龄歧视、美貌、美貌与职业、国籍和机构。
2. target_gender：表示特定的性别类型，包括male, female, not_specified。
3. context：表示不同的句子，即上下文句子。
4. item_category：表示属性或刺激的性质，分为positive或negative。
5. type_category：表示数据的方向，分为SAI和ASA两种类型。
6. anti_stereotype：当item_category为negative时，此列包含根据定义在选项中为正的属性/刺激；当item_category为positive时，此列包含为负的属性/刺激。
7. stereotype：与anti_stereotype列相反，当item_category为negative时，此列包含为负的属性/刺激；当item_category为positive时，此列包含为正的属性/刺激。
8. unrelated：包含中性属性或刺激。

引用信息

@article{kamruzzaman2023investigating, title={Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models}, author={Kamruzzaman, Mahammed and Shovon, Md Minul Islam and Kim, Gene Louis}, journal={arXiv preprint arXiv:2309.08902}, year={2023} }