T2I-Dense-Face Dataset

T2I-Dense-Face包含来自CASIA和CelebA的人脸图像，并发布了CASIA部分。提供了`dataset_usage/*.ipynb`来帮助理解数据集。可以通过提供的链接下载`CASIA_tiny`和`CASIA_small`，并可以通过发送邮件获取`CASIA_full`的下载链接。

T2I-Dense-Face consists of face images sourced from CASIA and CelebA, with the CASIA subset publicly released. `dataset_usage/*.ipynb` files are provided to assist users in understanding the dataset. `CASIA_tiny` and `CASIA_small` can be downloaded via the provided links, and the download link for `CASIA_full` can be obtained by sending an email request.

原始信息汇总

Dense-Face 数据集概述

数据集简介

Dense-Face 是一个用于个性化人脸生成的数据集，基于论文《Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction》实现。该数据集包含来自 CASIA 和 CelebA 的人脸图像，并公开了 CASIA 部分的数据。

数据集内容

• T2I-Dense-Face 数据集：包含来自 CASIA 和 CelebA 的人脸图像。
  • CASIA_tiny：可通过 Google Drive 下载，用于运行人脸生成模式。
  • CASIA_small：包含 5%~10% 的完整数据集，可通过 Google Drive 下载。
  • CASIA_full：完整数据集，需通过邮件联系 [e-mail] 获取下载链接。

数据集使用

• 提供了 dataset_usage/*.ipynb 文件，帮助用户理解和使用数据集。

预训练权重

• 提供了三种预训练权重，分别用于文本编辑模式、人脸生成模式和从头训练模式。可通过 Google Drive 下载。

数据集生成流程

1. 文本编辑模式：使用 inference_code/stage_1_text_editing/stage_1_text_editing.ipynb 进行文本编辑，生成结果保存在 inference_code/output_stage_1。
2. 生成条件：使用 MediaPipe 获取人脸区域和头部姿态条件，参考 ./annotation_toolbox/dense_annotation_demo.ipynb。
3. 人脸生成模式：基于步骤 2 生成的条件，修改步骤 1 的结果，生成最终的人脸图像，结果保存在 inference_code/output。

代码结构

bash ./Dense-Face ├── Dense-Face.yaml ├── inference_code │ ├── stage_1_text_editing/stage_1_text_editing.ipynb │ ├── inference.py │ ├── inference.sh │ ├── main.py │ ├── main.sh │ ├── reference_id │ ├── ropped_face │ ├── mask │ ├── output │ └── ... ├── annotation_toolbox │ ├── dense_annotation_demo.ipynb │ ├── Dense-Face-mediapipe.yml │ └── ... ├── dataset_usage │ └── readCelebAFacesDataset.ipynb └── test_samples

引用

如果使用该数据集，请引用以下论文： Bibtex @article{denseface, title={Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction}, author={Xiao Guo and Manh Tran and Jiaxin Cheng and Xiaoming Liu}, journal={arXiv preprint arXiv:2412.18149}, year={2024} }

搜集汇总

数据集介绍

构建方式

T2I-Dense-Face数据集的构建基于CASIA和CelebA数据集中的面部图像，特别发布了CASIA部分。通过密集注释预测技术，该数据集生成了个性化的面部生成模型。数据集的构建过程包括从CASIA数据集中提取图像，并利用MediaPipe工具进行面部区域和头部姿态的标注，最终生成用于训练和推理的条件数据。

特点

T2I-Dense-Face数据集的特点在于其密集注释预测技术，能够生成高度个性化的面部图像。数据集提供了CASIA_tiny和CASIA_small两个子集，分别包含完整数据集的部分样本，便于用户快速验证和实验。此外，数据集还提供了详细的注释工具和预训练权重，支持文本编辑和面部生成两种模式，极大地提升了模型的灵活性和实用性。

使用方法

使用T2I-Dense-Face数据集时，用户需首先通过提供的链接下载预训练权重，并将其放置在指定目录中。随后，用户可以通过运行`inference.sh`脚本来生成面部图像，结果将保存在`inference_code/output`目录中。数据集还提供了`dataset_usage/*.ipynb`文件，帮助用户理解和使用数据集。对于更复杂的任务，用户可以参考`inference_code/stage_1_text_editing`和`annotation_toolbox`中的脚本，进行文本编辑和密集注释生成。

背景与挑战

背景概述

T2I-Dense-Face数据集由密歇根州立大学的研究团队于2024年发布，旨在推动个性化人脸生成领域的研究。该数据集基于CASIA和CelebA数据集构建，专注于通过密集标注预测实现个性化人脸生成。研究团队提出的Dense-Face模型，结合了文本编辑和人脸生成技术，能够根据用户提供的文本描述生成高度个性化的人脸图像。这一研究不仅为人脸生成领域提供了新的技术路径，还为相关应用如虚拟现实、数字娱乐等提供了重要的技术支持。

当前挑战

T2I-Dense-Face数据集在构建和应用过程中面临多重挑战。首先，个性化人脸生成需要高精度的标注数据，以确保生成图像的细节和真实性，这对数据标注的密集性和准确性提出了极高要求。其次，模型在生成过程中需同时处理文本描述和人脸特征的多模态信息，这对算法的复杂性和计算资源提出了挑战。此外，数据集的构建依赖于CASIA和CelebA等现有数据集，如何有效整合和扩展这些数据以提升模型的泛化能力，也是研究中的一大难点。

常用场景

经典使用场景

在计算机视觉领域，T2I-Dense-Face数据集被广泛应用于个性化人脸生成任务。该数据集通过提供来自CASIA和CelebA的高质量人脸图像，结合密集标注预测技术，为研究者提供了一个强大的工具，用于生成具有高度个性化特征的人脸图像。其经典使用场景包括基于文本编辑的人脸生成和基于条件生成的人脸图像修改，这些场景在虚拟现实、游戏角色设计等领域具有重要应用价值。

衍生相关工作

T2I-Dense-Face数据集衍生了一系列经典工作，推动了人脸生成技术的发展。例如，基于该数据集的研究工作提出了多种改进的生成模型，如基于文本编辑的人脸生成模型和基于条件生成的人脸图像修改模型。这些模型在生成过程中能够更好地保持个体身份一致性，提升了生成图像的质量。此外，该数据集还促进了密集标注预测技术的研究，为其他计算机视觉任务提供了新的思路和方法。

数据集最近研究

最新研究方向

在个性化人脸生成领域，T2I-Dense-Face数据集的最新研究方向聚焦于通过密集注释预测实现高精度的人脸生成。该数据集结合了CASIA和CelebA的人脸图像，提供了丰富的训练样本，推动了基于文本编辑和条件生成的人脸合成技术的发展。前沿研究利用预训练模型和密集注释工具，如MediaPipe，实现了从文本描述到人脸图像的精准转换，并在生成过程中引入了面部区域和头部姿态等条件，显著提升了生成图像的个性化和真实感。这一研究方向不仅为人脸生成技术提供了新的方法论，还在虚拟现实、数字娱乐等领域具有广泛的应用前景。