Extreme Pose Face High-Quality Dataset (EFHQ)

EFHQ是一个大规模的高质量人脸数据集，专注于极端头部姿态的图像，由VinAI Research, Vietnam创建。该数据集包含多达45万张极端姿态的人脸图像，旨在补充现有数据集，支持包括2D/3D图像生成、文本到图像生成和人脸重演等多种人脸相关任务。通过精心设计的数据处理流程，EFHQ从两个公开数据集VFHQ和CelebV-HQ中筛选和采样帧，确保数据的高质量和多样性。EFHQ不仅帮助模型在极端视角下提高性能，还提供了一个更具挑战性的基于姿态的人脸验证基准，以更好地评估人脸识别网络的质量。

EFHQ is a large-scale, high-quality facial dataset focused on images with extreme head poses, created by VinAI Research of Vietnam. This dataset contains up to 450,000 facial images with extreme poses, aiming to complement existing datasets and support various facial-related tasks including 2D/3D image generation, text-to-image generation, and face reenactment. Through a meticulously designed data processing pipeline, EFHQ screens and samples frames from two public datasets, namely VFHQ and CelebV-HQ, to ensure high data quality and diversity. EFHQ not only helps improve the performance of models under extreme viewpoints, but also provides a more challenging pose-based facial verification benchmark to better evaluate the quality of facial recognition networks.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，面部数据集通常偏向于正面视角，这限制了模型在极端头部姿态下的泛化能力。为了弥补这一缺陷，EFHQ数据集通过精心设计的处理流程，从VFHQ和CelebV-HQ这两个公开的高质量面部视频数据集中筛选和采样帧。该流程首先提取面部边界框、关键点、图像质量评分和身份信息，随后采用多种头部姿态估计器的集成策略进行姿态分类，并通过人工审查确保标注的准确性。最终，数据集包含了高达45万张极端姿态的高质量面部图像，每张图像均配有对应的正面视角图像，形成了可用于多种任务的图像对。

特点

EFHQ数据集的核心特征在于其专注于极端头部姿态，涵盖了侧视、俯仰等多种角度，有效填补了现有数据集中在姿态多样性上的不足。数据集规模庞大且图像质量优异，所有图像均来源于真实场景，确保了数据的实用性和泛化能力。此外，每个身份均包含多张图像，并附有身份标注，这使得数据集不仅适用于生成任务，还能支持重演和验证等需要身份一致性的应用。与类似数据集相比，EFHQ在规模和多样性上具有显著优势，能够为模型训练提供更全面的姿态覆盖。

使用方法

EFHQ数据集的设计支持多种面部相关任务。在生成任务中，其极端姿态图像可与FFHQ等标准数据集结合，用于训练2D/3D生成对抗网络，以提升模型在非正面视角下的合成质量。对于基于扩散模型的文本到图像生成，数据集提供了带有面部关键点条件图像和结构化文本提示的专用版本，可用于微调ControlNet等模型。在面部重演任务中，EFHQ的图像对可用于训练运动转移模型，改善极端姿态下的表情和姿态迁移效果。此外，数据集还构建了一个包含正面-正面、正面-侧面、侧面-侧面三种场景的验证基准，用于评估人脸识别模型在姿态变化下的鲁棒性。

背景与挑战

背景概述

在计算机视觉领域，人脸相关研究长期聚焦于检测、识别与生成等核心任务，然而现有大规模人脸数据集普遍存在姿态分布不均的局限，多数图像集中于近正面视角，导致深度学习模型在处理极端头部姿态时性能显著下降。为应对这一挑战，VinAI Research等机构的研究团队于2023年提出了极端姿态人脸高质量数据集（EFHQ），该数据集通过精心设计的处理流程，从VFHQ和CelebV-HQ两个公开视频数据集中筛选出高达45万张高质量极端姿态人脸图像，不仅填补了该领域的数据空白，更通过支持2D/3D人脸生成、文本到图像生成、人脸重演及验证等多类任务，推动了跨姿态人脸分析技术的演进。

当前挑战

EFHQ数据集致力于解决极端姿态下人脸分析模型性能衰退的核心难题，其构建过程面临多重挑战。在领域问题层面，现有生成模型在合成侧面或俯仰人脸时易出现结构扭曲与细节失真，而人脸验证系统在跨姿态匹配中准确率显著下降，这源于训练数据中极端姿态样本的长期匮乏。在数据集构建过程中，挑战主要体现在极端姿态下人脸检测与关键点标注的稳定性不足，需融合多类姿态估计器并通过人工复核确保标注质量；同时，从视频帧中筛选高质量、身份信息完整且姿态分布均衡的图像，需设计兼顾亮度、清晰度与姿态多样性的量化过滤机制，并建立跨身份的多视角配对以支持重演与验证任务。

常用场景

经典使用场景

在计算机视觉领域，面部图像数据集常因姿态分布不均而面临挑战，多数数据集集中于正面视角，导致模型在极端头部姿态下性能衰退。EFHQ数据集通过提供高达45万张高质量极端姿态面部图像，成为训练和评估生成对抗网络（GAN）与扩散模型的经典资源。其精心构建的图像对支持从正面到侧面的连续姿态生成，使得StyleGAN2-ADA和EG3D等模型能够合成具有真实几何一致性的多视角人脸，显著提升了生成图像在俯仰、偏转等极端角度下的视觉保真度与多样性。

衍生相关工作

EFHQ数据集催生了一系列围绕极端姿态面部处理的前沿研究。在生成模型方面，基于EFHQ增强训练的StyleGAN2-ADA和EG3D模型在LPFF等基准上展现了更优的多视角合成能力；在扩散模型领域，融合EFHQ微调的ControlNet实现了对文本到图像生成中姿态的精确控制。此外，该数据集支撑了TPS与LIA等重演模型在极端姿态下的性能改进研究，并推动了ArcFace、AdaFace等识别网络在跨姿态验证基准上的深入评估。这些衍生工作共同构成了面部计算中姿态鲁棒性研究的重要分支，为后续大规模多姿态数据集的构建与算法设计提供了范式参考。

数据集最近研究

最新研究方向

在计算机视觉领域，人脸相关研究长期受限于训练数据中极端姿态样本的匮乏，导致生成模型与识别系统在侧脸或俯仰视角下性能显著下降。EFHQ数据集的推出，正引领着多任务人脸分析的前沿探索，其核心研究方向聚焦于利用大规模高质量极端姿态人脸图像，推动二维与三维生成对抗网络、扩散模型驱动的文本到图像生成以及人脸重演技术的跨姿态泛化能力。该数据集通过精心构建的评估基准，揭示了当前最先进人脸识别模型在极端姿态下的脆弱性，性能下降幅度达5%至37%，从而激发了针对野外复杂姿态条件下鲁棒性人脸识别算法的深入研究。EFHQ不仅弥补了现有数据集的分布偏差，更通过其多用途特性促进了跨任务的知识迁移，为构建在真实场景中具备全姿态适应能力的智能视觉系统奠定了关键数据基础。

相关研究论文

• EFHQ: Multi-purpose ExtremePose-Face-HQ dataset

  VinAI Research, Vietnam · 2024年