FFHQ-UV-Intrinsics dataset

FFHQ-UV-Intrinstics: A dataset containing intrinsic face decomposition for 10k subjects of FFHQ-UV

FFHQ-UV-Intrinstics 数据集：一款包含FFHQ-UV数据集中1万名受试者人脸本征分解（intrinsic face decomposition）结果的数据集。

原始信息汇总

FFHQ-UV-Intrinsics 数据集概述

数据集描述

• 名称: FFHQ-UV-Intrinsics
• 内容: 包含10,000个主题的基本纹理图，包括漫反射、镜面反射、环境遮挡、半透明度和法线图。
• 来源: 通过应用MoSAR模型处理FFHQ-UV数据集获得。
• 处理步骤:
  • 将FFHQ-UV的纹理图重新定位到自定义拓扑并调整大小至512x512。
  • 应用MoSAR进行光照归一化和提取基本纹理图。
  • 将纹理图上采样至1K分辨率并重新定位回原始拓扑。

数据集特点

• 分辨率: 1K
• 规模: 包含10,000个主题的多属性纹理图。
• 目的: 推动面部基本属性研究领域的发展。

数据集结构

• 存储格式: 使用Git LFS存储。

• 文件结构:

  Data <##ID> ambient_occlusion.png diffuse.png normal.png specular.png translucency.png light_normalized.png ....

使用许可

• 许可类型: 创意共享署名-非商业性使用-禁止演绎许可。
• 使用限制: 仅限研究用途。

引用信息

• 引用文献:

  @article{dib2024mosar, author = {Dib, Abdallah and Hafemann, Luiz G. and Got, Emeline and Anderson, Trevor and Fadaeinejad, Amin and Cruz, Rafael M.O and Carbonneau, Marc-André}, title = {MoSAR: Monocular Semi-Supervised Model For Avatar Reconstruction Using Differentiable Shading}, journal = {arXiv preprint arXiv:2312.13091}, year = {2024}, }

相关资源

• 教程: 提供将纹理图与FLAME拓扑结合使用的教程。
• Blender场景: 将提供用于渲染这些纹理的Blender场景。

搜集汇总

数据集介绍

构建方式

FFHQ-UV-Intrinsics数据集的构建基于FFHQ-UV数据集，通过应用MoSAR模型进行纹理映射的生成。首先，将FFHQ-UV中的纹理映射重新定位至自定义拓扑结构，并调整至512x512分辨率。随后，利用MoSAR模型进行光照归一化处理，生成内在纹理映射。最终，将这些纹理映射上采样至1K分辨率，并重新定位回原始拓扑结构，形成包含10K个样本的高分辨率内在纹理数据集。

特点

FFHQ-UV-Intrinsics数据集提供了丰富的内在面部属性，包括漫反射、镜面反射、环境光遮蔽、半透明和法线映射等，覆盖了10K个样本。该数据集以其高分辨率和规模化的特点，成为首个提供如此丰富内在面部属性的公开数据集，旨在推动相关领域的研究进展。

使用方法

FFHQ-UV-Intrinsics数据集可通过Git LFS进行下载，用户需确保已安装Git LFS工具。下载后，数据集以压缩文件形式提供，解压后可按照ID结构访问各个纹理映射文件。此外，数据集支持与FLAME拓扑结构结合使用，用户可参考相关教程进行适配。数据集还计划提供Blender场景文件，便于用户进行纹理渲染。

背景与挑战

背景概述

FFHQ-UV-Intrinsics数据集由Ubisoft Entertainment于2023年发布，旨在为研究社区提供高分辨率、大规模的人脸内在属性纹理图。该数据集基于FFHQ-UV数据集，通过应用MoSAR模型生成，包含10,000个样本的漫反射、镜面反射、环境光遮蔽、半透明和法线贴图。作为首个提供丰富内在人脸属性的大规模高分辨率数据集，FFHQ-UV-Intrinsics在计算机视觉、图形学和虚拟角色重建领域具有重要影响力，推动了相关技术的进一步发展。

当前挑战

FFHQ-UV-Intrinsics数据集在构建过程中面临多重挑战。首先，从FFHQ-UV数据集提取纹理图并重定向到自定义拓扑结构，需要高精度的数据处理和算法支持。其次，应用MoSAR模型进行光照归一化和内在纹理图生成，涉及复杂的计算和优化过程。此外，数据集的高分辨率和大规模特性对存储和计算资源提出了较高要求。在应用层面，如何将生成的纹理图与FLAME等模型无缝集成，也是研究者需要解决的关键问题。这些挑战共同构成了该数据集在技术实现和应用推广中的主要障碍。

常用场景

经典使用场景

在计算机视觉和图形学领域，FFHQ-UV-Intrinsics数据集被广泛应用于高分辨率人脸纹理分析。该数据集提供了10,000个样本的漫反射、镜面反射、环境光遮蔽、半透明和法线贴图，为研究人员提供了丰富的内在面部属性。这些数据在生成逼真的人脸模型、虚拟角色创建以及面部动画制作中具有重要价值，尤其是在需要高精度纹理映射的场景中。

衍生相关工作

FFHQ-UV-Intrinsics数据集的发布催生了一系列相关研究与应用。例如，基于该数据集的MoSAR模型在单目图像的三维人脸重建中取得了显著进展。此外，该数据集还被用于开发新的光照归一化算法和纹理合成技术，推动了计算机视觉和图形学领域的前沿研究。其高分辨率和丰富的纹理属性为后续研究提供了重要的数据支持。

数据集最近研究

最新研究方向

在计算机视觉与图形学领域，FFHQ-UV-Intrinsics数据集的发布标志着高分辨率、大规模人脸内在属性研究的重大突破。该数据集通过MoSAR技术对FFHQ-UV数据集进行处理，生成了包含漫反射、镜面反射、环境遮挡、半透明和法线贴图在内的10,000个样本的高质量纹理映射。这一成果为虚拟角色重建、面部表情捕捉以及光照归一化等前沿研究提供了丰富的实验数据。特别是在虚拟现实、增强现实和游戏开发中，该数据集的应用潜力巨大，能够显著提升虚拟角色的真实感和交互体验。此外，结合FLAME拓扑结构的使用，进一步扩展了其在三维人脸建模中的应用范围。FFHQ-UV-Intrinsics的公开不仅推动了相关技术的进步，也为学术界和工业界提供了宝贵的资源，促进了跨领域合作与创新。