FaceQ|面部生成数据集|AI评估数据集

FaceQ是由上海交通大学和Bilibili公司联合创建的一个大规模AI生成面部图像数据库，包含12255张由29个模型生成的面部图像，涵盖面部生成、定制和修复三个任务。该数据集包含32742个多维度的平均意见分数（MOS），由180名标注者评估，涵盖质量、真实性、身份保真度和文本图像对应性等多个维度。数据集的创建过程包括多样化的源数据收集、模型生成图像、人工标注等多个步骤。FaceQ数据集主要用于评估和比较面部生成、定制和修复模型的性能，旨在解决当前AI生成面部图像在真实性和身份保真度方面的问题。

AI搜集汇总

数据集介绍

构建方式

FaceQ数据集的构建过程分为三个主要任务：人脸生成、人脸定制和人脸修复。首先，通过设计288个面向人脸的提示词，涵盖了从一般描述到具体面部属性的多种类别，生成了4032张人脸图像。其次，利用35个身份参考图像和20个提示词，通过6种代表性模型进行人脸定制，生成了4200张定制人脸图像。最后，通过合成和真实世界的低质量图像，使用9种先进的修复模型生成了4023张修复后的人脸图像。所有图像均经过180名参与者的多维度主观评估，涵盖质量、真实性、身份保真度和文本图像对应性等维度。

特点

FaceQ数据集的显著特点在于其大规模、多维度和细粒度的质量标注。该数据集包含了12255张由29种生成模型生成的图像，涵盖了人脸生成、定制和修复三个任务。每张图像都经过32742个多维度的平均意见分数（MOS）评估，确保了数据集在质量、真实性、身份保真度和文本图像对应性等方面的全面性。此外，数据集的多样性体现在提示词的广泛覆盖和生成模型的多样性上，使其成为评估和比较不同生成模型性能的理想基准。

使用方法

FaceQ数据集可用于评估和比较不同人脸生成、定制和修复模型的性能。研究者可以通过分析模型在质量、真实性、身份保真度和文本图像对应性等维度的表现，来识别模型的优势和不足。此外，该数据集还可用于开发和验证新的图像质量评估（IQA）和人脸质量评估（FQA）方法，特别是针对AI生成内容的质量评估。通过对比现有评估方法与人类主观评分之间的相关性，研究者可以进一步优化和改进现有的评估指标，以更好地反映人类对AI生成人脸的感知和偏好。

背景与挑战

背景概述

近年来，生成式模型在内容创作领域取得了显著进展，尤其是在人脸图像生成、定制和修复方面。然而，当前的AI生成人脸（AIGFs）往往因独特的失真、不真实的细节和意外的身份变化而无法满足人类偏好，这凸显了建立一个全面的人脸质量评估框架的必要性。为此，上海交通大学和Bilibili公司联合推出了FaceQ数据集，该数据集包含12,255张由29种生成模型生成的图像，涵盖人脸生成、定制和修复三个任务。FaceQ数据集通过180名标注者的32,742个多维度平均意见分数（MOS），评估了图像的质量、真实性、身份保真度和文本图像对应性。FaceQ数据集的推出为评估和比较人脸生成、定制和修复模型提供了基准，揭示了现有图像质量评估方法在评估真实性和身份保真度方面的不足。

当前挑战

FaceQ数据集的构建面临多重挑战。首先，生成式模型在生成过程中容易出现独特的失真、不真实的细节和身份变化，这使得传统的图像质量评估方法难以准确评估AI生成的人脸图像。其次，数据集的构建过程中，如何确保生成的图像具有多样性、代表性，并且能够覆盖不同的任务（生成、定制和修复）是一个复杂的问题。此外，多维度的主观评估需要大量的标注工作，如何确保标注的一致性和可靠性也是一个挑战。最后，现有的图像质量评估方法在评估AI生成图像的真实性、身份保真度和文本图像对应性方面表现不佳，这为开发新的评估方法提出了更高的要求。

常用场景

经典使用场景

FaceQ数据集的经典使用场景主要集中在人脸生成、定制和修复任务的评估上。通过包含12,255张由29种不同生成模型生成的图像，FaceQ数据集为研究人员提供了一个全面的基准，用于评估这些模型在生成高质量、真实感人脸图像方面的表现。研究人员可以通过该数据集对不同模型在质量、真实性、身份保真度和文本图像对应性等多个维度上的表现进行细致的比较和分析。

解决学术问题

FaceQ数据集解决了当前AI生成人脸图像（AIGFs）在质量评估方面的常见学术问题。传统的图像质量评估方法往往无法准确捕捉AI生成图像中的独特失真、不真实细节和身份偏移等问题。FaceQ通过引入多维度的主观评分（如质量、真实性、身份保真度和文本图像对应性），为研究人员提供了一个系统化的框架，用于评估和改进AI生成人脸图像的质量，从而推动了该领域的研究进展。

衍生相关工作

FaceQ数据集的发布催生了一系列相关的经典工作，特别是在人脸生成、定制和修复模型的评估和改进方面。例如，基于FaceQ数据集的研究人员开发了新的图像质量评估方法，如MINTIQA，该方法在AI生成图像的质量评估中表现出色。此外，FaceQ还推动了对现有生成模型的深入分析，揭示了这些模型在不同任务中的优势和不足，从而为未来的模型优化提供了方向。