PAIRS

PAIRS数据集由加拿大国家研究委员会创建，包含200张AI生成的平行图像，每张图像在背景和视觉内容上高度相似，但在性别和种族上有所不同。该数据集用于研究大型视觉-语言模型中的性别和种族偏见，通过展示相同场景下不同性别和种族的人物图像，观察模型的响应差异。数据集的应用领域主要集中在评估和解决AI模型中的社会偏见问题，旨在通过科学的方法揭示并纠正这些偏见，以促进AI技术的公平性和透明度。The PAIRS dataset was developed by the National Research Council Canada, and contains 200 AI-generated parallel images. Each paired set of these images shares highly similar backgrounds and visual content, yet differs in terms of the gender and race of the portrayed individuals. This dataset is designed to study gender and racial biases in large vision-language models: by displaying images of individuals with different genders and races within identical scenes, it enables the observation of discrepancies in model responses. The primary application domains of this dataset focus on evaluating and mitigating societal biases in AI models, with the goal of uncovering and correcting these biases through scientific methods to advance fairness and transparency in AI technology.

搜集汇总

数据集介绍

构建方式

PAIRS 数据集的构建采用了 Midjourney 的文本到图像模型，通过生成一系列在背景和视觉内容上高度相似，但在性别（男、女）和种族（黑人、白人）方面有所不同的 AI 生成图像。为了确保图像之间的相似性，研究人员使用 Midjourney 的“变异”命令对图像进行迭代修改，直到每个场景获得四张图像，涵盖性别和种族的所有组合。此外，研究人员还对图像进行了手动验证，以确保除了变量（性别/种族）之外，所有平行图像都高度相似。

特点

PAIRS 数据集的特点在于其包含的图像高度相似，但仅在性别和种族方面有所差异。这使得研究人员能够控制图像中的其他视觉信息，从而更好地观察和评估大型视觉语言模型（LVLMs）在处理这些图像时是否存在性别和种族偏见。此外，PAIRS 数据集涵盖了三种场景类型：职业场景、中性日常生活场景和潜在的犯罪相关场景，为研究 LVLMs 的偏见提供了多样化的数据。

使用方法

使用 PAIRS 数据集时，研究人员首先使用 Midjourney 生成一组高度相似的图像，然后在 LVLMs 上进行实验，以评估模型是否存在性别和种族偏见。实验包括三个部分：首先，使用职业场景图像，询问模型图像中人物的职业，以评估性别偏见；其次，使用中性日常生活场景图像，询问模型图像中人物的社会地位，以评估种族偏见；最后，使用潜在的犯罪相关场景图像，询问模型图像中人物的行为是否具有犯罪性，以进一步评估种族偏见。此外，研究人员还使用开放式提示，如“告诉我关于这张图片的故事”，来观察 LVLMs 在生成文本时是否存在性别和种族偏见。

背景与挑战

背景概述

在大型语言模型（LLMs）和后续聊天模型取得进展之后，大型视觉-语言模型（LVLMs）作为一种新的研究热点兴起。这类模型能够将图像和文本作为输入，并执行诸如视觉问答、图像描述、故事生成等任务。然而，这些系统可能会在处理模糊图像和/或文本时强化有害的社会刻板印象。为了解决这个问题，研究人员Kathleen C. Fraser和Svetlana Kiritchenko创建了一个名为PAIRS（PArallel Images for eveRyday Scenarios）的数据集，该数据集包含人工智能生成的图像集合，这些图像在背景和视觉内容上高度相似，但在性别（男、女）和种族（黑人、白人）方面有所不同。通过使用PAIRS数据集对LVLMs进行查询，研究人员观察到了根据图像中人物的性别或种族所感知的特征，模型响应存在显著差异。这项研究有助于揭示LVLMs中潜在的性别和种族偏见，并为未来开发更加公平和安全的模型提供了基础。

当前挑战

PAIRS数据集在构建过程中面临的主要挑战包括：1)生成高度相似但具有不同性别和种族特征的图像，这要求精确控制图像生成的过程；2)确保所有图像除了目标变量（性别/种族）之外在背景和细节上高度一致，这需要细致的手动验证和调整；3)数据集规模相对较小，仅包含200张图像，覆盖50种场景，这限制了研究的广泛性和普适性；4)数据集主要针对北美的社会文化背景，可能无法完全反映其他地区的社会偏见；5)尽管所有努力确保图像之间的高度相似性，但仍然存在细微差异，这可能对LVLMs的判断产生影响；6)研究仅考虑了四种研究型LVLMs，未能涵盖商业模型的偏见情况。未来研究应着重扩大数据集规模，涵盖更多社会群体和场景，并探索更广泛的模型类型，以更全面地评估LVLMs中的偏见问题。

常用场景

经典使用场景

数据集经典使用场景描述

衍生相关工作

数据集衍生相关工作描述

数据集最近研究

最新研究方向

PAIRS 数据集的最新研究方向集中在探索大型视觉语言模型 (LVLMs) 中潜在的性别和种族偏见。研究者通过使用 AI 生成的平行图像，这些图像在背景和视觉内容上高度相似，但在性别和种族方面有所差异，来揭示 LVLMs 在处理不同性别和种族特征的人物图像时的偏见。研究结果表明，所有四个模型在某些情况下都表现出一定程度的性别和种族偏见，例如将男性与男性主导的职业相关联，将女性与女性主导的职业相关联，以及将白人与更高的社会地位相关联，将黑人与更低的社会地位相关联。此外，研究发现，在描述和故事生成等开放性任务中，LVLMs 对黑人，尤其是黑人男性，与犯罪、暴力、帮派和枪支的关联更为强烈。这些发现强调了在 LVLMs 中实施更有效的偏见缓解策略的必要性，以确保这些模型的安全性和公平性。未来的研究应该着重于扩大 PAIRS 数据集，以涵盖更广泛的性别、种族和其他社会人口特征，并探索商业模型中的偏见。

相关研究论文

• Examining Gender and Racial Bias in Large Vision-Language Models Using a Novel Dataset of Parallel Images

  加拿大国家研究委员会 · 2024年