T2ISafety

T2ISafety是一个安全基准，用于评估文本到图像（T2I）模型在毒性、公平性和偏见三个关键领域的表现。该数据集基于这三个领域构建了一个详细的层次结构，包括12个任务和44个子类别，并精心收集了70K相应的提示。基于这个分类法和提示集，构建了一个包含68K手动注释图像的大型T2I数据集，并训练了一个评估器，能够检测以前工作中未能识别的关键风险。

T2ISafety is a safety benchmark designed to evaluate the performance of text-to-image (T2I) models across three core domains: toxicity, fairness, and bias. This dataset establishes a detailed hierarchical framework based on these three domains, encompassing 12 tasks and 44 subcategories, with 70K carefully curated corresponding prompts collected. Leveraging this taxonomy and the prompt set, a large-scale T2I dataset containing 68K manually annotated images is constructed, and an evaluator is trained to detect key risks that were unidentifiable in previous research works.

原始信息汇总

T2ISafety 数据集概述

简介

T2ISafety 是一个用于评估文本到图像（Text-to-Image, T2I）模型安全性的基准数据集。该数据集关注三个关键领域：毒性、公平性和偏见，包含12个任务和44个子类别。数据集通过精心收集的70K个提示构建，包含68K个手动注释的图像，用于训练一个能够检测先前研究未识别的关键风险的评估器。

特点

• 层次结构分类：包含3个领域、12个任务和44个子类别。
• 高级评估框架：包括专门微调的图像评估器 ImageGuard。

数据集构建

数据集的构建包括三个关键阶段：提示构建、图像生成和人工注释。

模型架构

ImageGuard 的网络架构包括视觉编码器、感知采样器和对比损失，以增强图像文本一致性。

模型结果

评估了12个扩散模型在T2ISafety上的表现，揭示了包括种族公平性、毒性内容和隐私保护方面的多个问题。

引用

@article{li2025t2isafety, title={T2ISafety: Benchmark for Assessing Fairness, Toxicity, and Privacy in Image Generation}, author={Li, Lijun and Shi, Zhelun and Hu, Xuhao and Dong, Bowen and Qin, Yiran and Liu, Xihui and Sheng, Lu and Shao, Jing}, journal={arXiv preprint arXiv:2501.12612}, year={2025} }

搜集汇总

数据集介绍

构建方式

T2ISafety数据集的构建过程分为三个主要阶段：构建提示语、生成图像以及人工标注。首先，基于公平性、毒性和隐私性三个核心领域，构建了一个包含12个任务和44个子类的层级结构。其次，依据这一结构，精心设计了70,000个相应的提示语。最后，通过这些提示语，生成了一个包含68,000张人工标注图像的大规模数据集，并训练了一个能够检测先前研究中未识别关键风险的评估器ImageGuard。

特点

T2ISafety数据集的特点在于其紧凑的层级结构，涵盖三个层次：3个领域、12个任务和44个子类。此外，该数据集采用了先进的评估框架，包括专门微调的评估器ImageGuard，用于图像的专门评估，确保了对图像生成模型在安全性方面的全面评价。

使用方法

使用T2ISafety数据集时，研究者可以依据数据集中的层级结构对其图像生成模型进行安全性评估。通过ImageGuard评估器，可以检测模型在公平性、毒性和隐私性方面的表现，并针对模型生成的图像进行详细分析。此外，数据集还提供了与模型评估相关的基准和工具，以帮助研究者更好地理解和改进其模型。

背景与挑战

背景概述

T2ISafety数据集是在文本到图像（Text-to-Image, T2I）模型迅速发展的背景下创建的，这些模型能够根据文本提示生成高质量图像。然而，这些模型在安全性方面存在显著问题，如可能生成有害、有偏见或涉及隐私的内容。针对当前评估T2I模型安全性研究尚处于初级阶段的问题，T2ISafety数据集的构建旨在填补这一空白，评估T2I模型在毒性、公平性和偏见三个关键领域的安全性。该数据集由70K个对应的提示构建而成，并包含68K个手动注释的图像。T2ISafety的创建集合了多位研究人员和OpenSafetyLab的共同努力，对相关领域的研究具有深远影响。

当前挑战

该数据集在构建过程中面临的挑战主要包括：如何全面构建一个包含三个层级（3个领域、12个任务和44个子类别）的安全性评估框架，以及如何生成和注释大量图像以涵盖毒性、公平性和隐私三个领域。此外，当前T2I模型在安全性方面存在的挑战包括种族公平性问题的持续存在、生成有毒内容的倾向，以及不同模型在隐私保护方面的显著差异，即使采用了诸如概念擦除等防御方法。

常用场景

经典使用场景

在文本转图像模型的研究与开发领域，T2ISafety数据集提供了一个评价模型在毒性、公平性和偏见三个关键领域的安全性的基准。该数据集的经典使用场景在于，研究人员通过该数据集对T2I模型进行评估，以识别并修复模型在生成图像时可能产生的风险和问题，确保模型输出内容的合规性和安全性。

衍生相关工作

基于T2ISafety数据集的研究成果，已经衍生出了一系列相关工作，包括但不限于对现有模型的评估、新型安全评估框架的构建，以及针对特定安全问题的解决方案。这些相关工作进一步扩展了T2ISafety的影响，促进了文本转图像模型安全性研究的全面发展。

数据集最近研究

最新研究方向

随着文本到图像（T2I）模型在生成高质量图像方面的快速发展，其安全性问题亦日益受到关注。T2ISafety数据集的构建旨在评估T2I模型在毒性、公平性和隐私性三个关键领域的安全性。该研究通过对12个任务和44个子任务的细致分类，并收集了70,000个相关提示，进而构建了一个包含68,000个手动注释图像的大规模数据集。研究结果显示，即便是超大型的私有模型，如GPTs，也无法准确检测到某些关键风险。T2ISafety不仅揭示了模型在种族公平性、毒性内容生成以及隐私保护方面的持续问题，还为T2I模型的安全性评估提供了一个先进的评价框架，这对于促进图像生成领域的健康发展具有重要的现实意义。