ViSAGe

ViSAGe数据集用于评估文本到图像生成模型中的已知民族基于的刻板印象，涵盖135个民族。该数据集通过区分更有可能具有视觉描述的刻板印象和那些不太具体的刻板印象来丰富现有的文本刻板印象资源。The ViSAGe dataset is designed to evaluate known ethnicity-based stereotypes in text-to-image generation models, encompassing 135 ethnic groups. This dataset enriches existing textual stereotype resources by distinguishing between stereotypes that are more likely to have visual descriptions and those that are less specific.

原始信息汇总

数据集概述

名称：ViSAGe (Visual Stereotypes Around the Globe)

目的：评估Text-to-Image (T2I)模型中的国家基于的视觉刻板印象，涵盖135个国籍。

特点：

• 通过区分更可能具有视觉描绘的刻板印象（如sombrero）与较少视觉具体的刻板印象（如attractive），丰富了现有的文本刻板印象资源。
• 展示了刻板印象属性在生成图像中的显著性和冒犯性，特别是在非洲、南美洲和东南亚的身份群体中。
• 评估了身份群体视觉描绘的刻板印象吸引力，揭示了所有身份群体的默认表示向刻板印象描绘的倾向，尤其是全球南方的身份群体。

数据集内容

• 数据卡片：包含数据集的详细信息，如预期用途、字段名称和含义、标注者招募和支付。
• 文件：
  • visual_attributes：包含基于Likert量表的属性视觉性质的标注。
  • Image_Annotations：包含图像中属性的存在与否及其坐标的标注。

引用信息

@inproceedings{jha-2024-beyond, title={ViSAGe: A Global-Scale Analysis of Visual Stereotypes in Text-to-Image Generation}, author={Jha, Akshita and Prabhakaran, Vinodkumar and Denton, Remi and Laszlo, Sarah and Dave, Shachi and Qadri, Rida and Reddy, Chandan K and Dev, Sunipa}, journal={arXiv preprint arXiv:2401.06310}, year={2024} }

搜集汇总

数据集介绍

构建方式

在应对文本到图像生成模型中社会刻板印象的全球性分析需求时，ViSAGe数据集应运而生。该数据集通过区分更具视觉表现力的刻板印象（如'sombrero'）与抽象概念（如'attractive'），丰富了现有的文本刻板印象资源。ViSAGe涵盖了135个国家的身份群体，旨在评估这些群体在文本到图像生成模型中的刻板印象表现。数据集的构建过程中，采用了Likert量表对视觉属性的视觉性进行标注，并记录了图像中属性的存在与否及其坐标，以确保数据的全面性和准确性。

使用方法

ViSAGe数据集主要用于评估和分析文本到图像生成模型中的视觉刻板印象。研究者可以通过数据集中的`visual_attributes`文件，了解不同属性的视觉性评分，进而分析这些属性在生成图像中的表现。同时，`Image_Annotations`文件提供了图像中属性的存在与否及其坐标信息，帮助研究者进行更细致的图像分析。此外，数据集还可用于训练和测试新的模型，以减少或消除文本到图像生成中的刻板印象，推动更公平、更包容的图像生成技术发展。

背景与挑战

背景概述

近年来，文本到图像（Text-to-Image, T2I）生成模型在社会中的应用日益广泛，但其生成的图像往往反映了现实世界中的社会刻板印象。然而，现有的刻板印象评估方法在覆盖全球身份群体及其相关刻板印象方面存在显著不足。为填补这一空白，ViSAGe（Visual Stereotypes Around the Globe）数据集应运而生，旨在评估T2I模型中基于国籍的刻板印象，涵盖135个国籍。该数据集通过区分更具视觉表现力的刻板印象（如‘sombrero’）与较抽象的刻板印象（如‘attractive’），丰富了现有的文本刻板印象资源。ViSAGe数据集的引入不仅为多方面的T2I生成评估提供了工具，还揭示了全球南方身份群体在生成图像中更易受到刻板印象影响的现状。

当前挑战

ViSAGe数据集面临的挑战主要集中在两个方面。首先，构建过程中需确保对全球135个国籍的刻板印象进行全面且准确的分类，这要求对不同文化背景下的视觉表现进行深入理解和细致标注。其次，评估T2I模型生成的图像时，如何量化和衡量刻板印象的存在及其对特定身份群体的影响，尤其是对非洲、南美和东南亚等地区的身份群体，是一个复杂且敏感的问题。此外，数据集的构建还需考虑如何平衡刻板印象的视觉表现与抽象概念，以确保评估的全面性和公正性。

常用场景

经典使用场景

ViSAGe数据集的经典使用场景在于其对文本到图像生成模型中视觉刻板印象的全球范围分析。通过涵盖135个国家的身份群体及其相关的刻板印象，该数据集能够评估和揭示这些模型在生成图像时如何反映现实世界中的社会刻板印象。特别是，ViSAGe通过区分视觉上可描绘的刻板印象（如'sombrero'）与非视觉具体的刻板印象（如'attractive'），提供了对T2I模型生成图像中刻板印象的深入理解。

解决学术问题

ViSAGe数据集解决了现有研究在评估文本到图像生成模型中刻板印象时，缺乏对全球身份群体及其刻板印象全面覆盖的问题。通过提供一个包含135个国家的详细刻板印象数据集，ViSAGe不仅揭示了这些模型在生成图像时如何反映社会刻板印象，还特别指出了非洲、南美和东南亚身份群体在生成图像中更容易出现冒犯性刻板印象的现象。这一发现对于理解模型偏见和改进生成模型具有重要的学术意义。

实际应用

在实际应用中，ViSAGe数据集可用于开发和评估文本到图像生成模型的公平性和无偏性。通过分析和纠正模型生成图像中的刻板印象，该数据集有助于构建更加公正和包容的生成模型，从而在广告、媒体、教育等多个领域中减少刻板印象的传播。此外，ViSAGe还可以用于培训和测试模型在处理不同文化背景下的图像生成任务时的表现，提升模型的全球适应性和多样性。

数据集最近研究

最新研究方向

在文本到图像生成领域，ViSAGe数据集的引入为全球范围内的视觉刻板印象分析提供了新的视角。该数据集通过涵盖135个国家的身份群体及其相关的刻板印象，填补了现有评估方法在全球多样性覆盖上的不足。研究者们通过区分更具视觉表现力的刻板印象（如‘sombrero’）与抽象的刻板印象（如‘attractive’），深入探讨了这些刻板印象在图像生成中的表现及其对不同地区身份群体的影响。特别是，研究发现非洲、南美和东南亚地区的身份群体在生成图像中更容易受到刻板印象的影响，这一发现对于理解全球范围内的社会偏见具有重要意义，并为未来的模型改进提供了方向。