姿态不变面对齐（PIFA）的数据集， 应用于人脸对齐人脸对准

面部对齐是将监督学习模型应用于面部图像并估计一组面部标志（例如眼角、嘴角等）的位置的过程。面部对齐是大多数面部分析算法流程中的一个关键模块，通常在面部检测之后以及随后的特征提取和分类之前。因此，这是一种具有多种应用的使能能力，例如人脸识别、表情识别、人脸去识别等。尽管对准精度不断提高，但由于非正面人脸姿态、低图像质量、遮挡等，人脸对准仍然是一个极具挑战性的问题，出于一些原因，我们认为姿态不变的人脸对齐是值得进行大量研究的方法。 如图1所示，受解决姿势变化的需求以及处理姿势方面缺乏先前工作的激励，我们提出了一种基于回归的新的姿势不变人脸对齐方法，其目的是估计具有任意姿势的人脸（例如，-90<偏航<+90）的人脸地标的2D和3D位置及其在2D图像中的可见性。 图1：给定具有任意姿态的人脸图像，我们提出的算法自动估计面部标志以及3D标志的2D位置和可见性。为中心的图像估计所显示的3D界标。绿色/红色点表示可见/不可见地标。 我们提出的PIFA方法的总体架构如图2所示。我们首先从一组标记的3D扫描中学习3D点分布模型（3DPDM），其中图像上的一组2D界标可以被视为3DPDM实例的投影（即，3D界标）。对于每个2D训练人脸图像，我们假设存在手动标记的2D界标及其可见性，以及相应的3D地面实况3D界标和相机投影矩阵。给定训练图像和2D/3D地面真相，我们训练一个级联耦合回归器，该回归器由每个级联层的两个回归器组成，用于分别估计3DPDM系数和投影矩阵的更新。最后，通过3D表面法线的领域知识自动计算投影的3D地标的可见性，并将其纳入回归学习过程。 图2：我们提出的PIFA方法的总体架构，包括三个主要模块（3D建模、级联耦合回归学习和3D表面支持可见性估计）。绿色/红色箭头表示指向/远离摄影机的曲面法线。 如图3所示，尽管姿态范围很大，-90<偏航<+90，但我们的算法在对齐地标方面做得很好，并正确预测地标可见性。如果您将相同的平均形状（2D界标）用作所有测试图像的初始化，则这些结果尤其令人印象深刻，因为相对于其最终界标估计，这些图像具有非常大的变形。 图3：AFLW数据库的测试结果。如顶行所示，我们通过在每个图像的给定边界框中放置2D平均形状来初始化面部对齐。注意初始界标和最终估计界标之间的差异，以及图像之间姿态、照明和分辨率的差异。绿色/红色点表示可见/不可见的估计界标。