CelebAHQ-IDI

CelebAHD IDentity Preserving Inpainting (CelebAHQ-IDI) dataset is organized from original CelebAHQ dataset, also with language annotations from CelebA-Dialog dataset. The statistics of this dataset is shown in the table below. #Ref refers to the number of reference images available. For example, #Ref=1 means that for each identity, there are two or more images and one image is used as reference and the rest are for inference. This dataset can not only be used to train and evaluate identity-preserving inpainting, but also train and evaluate personalized generative models, such as Stable Diffusion with Textual Inversion and LoRA, etc.CelebA高清身份保留修复（CelebAHQ-IDI）数据集基于原始CelebAHQ数据集构建，同时集成了CelebA-Dialog数据集的语言标注信息。该数据集的统计详情如下表所示，其中#Ref代表可用参考图像的数量。例如，当#Ref=1时，每个身份对应两张及以上图像，其中一张用作参考图像，其余图像用于推理任务。该数据集既可用于训练与评估身份保留修复任务，也可用于训练和评估个性化生成模型，例如结合文本反转（Textual Inversion）与LoRA的Stable Diffusion等。

原始信息汇总

CelebAHQ-IDI Dataset 概述

数据集描述

CelebAHQ IDentity Preserving Inpainting (CelebAHQ-IDI) 数据集是从原始 CelebAHQ 数据集组织而成，同时包含来自 CelebA-Dialog 数据集的语言标注。该数据集的统计信息如下表所示。

• #Ref 表示可用参考图像的数量。例如，#Ref=1 意味着每个身份有两张或更多图像，其中一张用作参考，其余用于推理。

数据集用途

该数据集不仅可用于训练和评估身份保持的图像修复，还可用于训练和评估个性化生成模型，如使用文本反转和 LoRA 的稳定扩散模型等。

数据集获取

数据集可通过 Google Drive 获取。

搜集汇总

数据集介绍

构建方式

CelebAHQ-IDI数据集基于CelebAHQ数据集构建，并结合了CelebA-Dialog数据集的语言注释。该数据集的设计旨在支持身份保持的面部修复任务，同时也可用于个性化生成模型的训练与评估。具体构建过程中，每个身份包含多张图像，其中一张作为参考图像，其余用于推理，确保了数据集的多样性和实用性。

特点

CelebAHQ-IDI数据集的特点在于其身份保持的面部修复能力，以及支持个性化生成模型的训练。数据集中的每个身份均包含多张图像，确保了模型的泛化能力。此外，结合语言注释，该数据集进一步扩展了其在文本驱动生成任务中的应用潜力，为研究者提供了丰富的实验场景。

使用方法

使用CelebAHQ-IDI数据集时，首先需下载并解压缩数据集至指定目录。随后，可通过提供的脚本进行多GPU并行训练，支持PVA路径、Textual Inversion基线以及Custom Diffusion基线的复现。具体训练步骤包括阶段1和阶段2的PVA训练，以及基于配置文件的微调操作，确保研究者能够灵活地应用于不同实验需求。

背景与挑战

背景概述

CelebAHQ-IDI数据集是基于CelebAHQ数据集构建的，专注于身份保持的面部修复任务。该数据集由Jianjin Xu等研究人员在2024年提出，旨在推动个性化生成模型的研究，特别是在面部修复和生成领域。数据集不仅保留了原始CelebAHQ的高质量图像，还引入了CelebA-Dialog数据集的语言注释，进一步丰富了数据的多模态特性。通过提供多张参考图像，CelebAHQ-IDI能够支持身份保持的面部修复任务，并为个性化生成模型（如Stable Diffusion结合Textual Inversion和LoRA）的训练与评估提供了重要资源。该数据集的发布为计算机视觉领域的研究者提供了新的实验平台，推动了面部修复与生成技术的进一步发展。

当前挑战

CelebAHQ-IDI数据集在解决身份保持的面部修复问题时，面临的主要挑战是如何在修复过程中准确保持个体的身份特征。由于面部修复任务需要在缺失区域生成与原始图像一致的内容，同时确保生成的面部特征与参考图像中的身份一致，这对模型的生成能力和身份识别能力提出了较高要求。此外，数据集的构建过程中，如何从原始CelebAHQ数据集中筛选和组织多张参考图像，并确保这些图像在身份、姿态和光照等方面具有足够的多样性，也是一个技术难点。数据集的标注和语言注释的整合也增加了构建的复杂性，需要确保多模态数据的一致性和可用性。这些挑战共同推动了面部修复与生成技术的创新与优化。

常用场景

经典使用场景

CelebAHQ-IDI数据集在个性化面部修复领域具有重要应用，特别是在基于扩散模型的图像修复任务中。该数据集通过提供多张同一身份的图像，使得模型能够在修复过程中保持身份一致性。研究人员可以利用该数据集训练和评估身份保持修复模型，确保修复后的图像在视觉上与原身份高度一致。

解决学术问题

CelebAHQ-IDI数据集解决了面部修复任务中身份一致性难以保持的学术难题。传统修复方法往往在修复过程中丢失身份信息，导致修复结果与原始身份不符。该数据集通过提供多张同一身份的图像，使得模型能够在修复过程中学习到身份特征，从而在修复后保持身份一致性。这一突破为个性化生成模型的研究提供了重要支持。

衍生相关工作

CelebAHQ-IDI数据集衍生了一系列经典工作，特别是在基于扩散模型的图像修复和生成领域。例如，研究人员利用该数据集开发了并行视觉注意力机制（PVA），显著提升了身份保持修复的效果。此外，该数据集还被用于训练和评估Stable Diffusion模型，推动了文本到图像生成技术的发展。