高质量名人视频数据集 (CelebV-HQ)

高质量名人视频数据集 (CelebV-HQ) 是由商汤科技研究院创建的大规模、高质量、多样化的视频数据集，包含35,666个视频，涉及15,653个身份。该数据集通过精心设计的流程构建，确保了视频的高分辨率和真实世界分布的多样性。每个视频都手动标注了83个面部属性，包括40个外观属性、35个动作属性和8个情感属性。CelebV-HQ旨在支持面部相关的视频研究，特别是在无条件视频生成和视频面部属性编辑等任务中展现出其有效性和潜力。

The high-quality celebrity video dataset (CelebV-HQ) is a large-scale, high-quality, and diverse video dataset created by SenseTime Research, comprising 35,666 videos spanning 15,653 unique identities. Constructed via a meticulously designed pipeline, this dataset ensures high-resolution videos and diverse real-world distributions. Each video is manually annotated with 83 facial attributes, including 40 appearance attributes, 35 action attributes, and 8 emotional attributes. CelebV-HQ aims to support facial-related video research and demonstrates its effectiveness and potential in tasks such as unconditional video generation and video facial attribute editing.

搜集汇总

数据集介绍

构建方式

CelebV-HQ数据集的构建方式遵循了大规模、高质量和多样化的原则。首先，数据收集过程采用了从维基数据集中构建的大型互联网查询集，覆盖了11种语言、8376个实体和3717个动作，从而确保了视频内容的多样性和丰富性。接着，引入了自动化的预处理流程，利用人脸检测和对齐工具来确保视频的高保真度和分辨率。最后，设计了一个包含外貌、动作和情感三个方面的面部属性集，并采用系统化的标注流程，包括标注员培训、自动判断和质量管理，以确保标注的准确性和效率。

特点

CelebV-HQ数据集具有以下特点：1）大规模：包含35,666个视频片段，涉及15,653个人物身份，每个视频片段至少具有512×512的分辨率；2）高质量：视频具有高保真度和分辨率，同时数据样本的分布自然且多样；3）多样化：数据集不仅包含外貌属性标注，还包含动作和情感属性标注，共计83个手动标注的面部属性；4）自然分布：数据集在年龄、种族、亮度、运动平滑度、姿态多样性和数据质量等方面展现出丰富的多样性，与自然分布相符。

使用方法

使用CelebV-HQ数据集的方法包括：1）数据预处理：将视频片段裁剪为指定分辨率并提取面部区域；2）数据标注：根据数据集定义的面部属性集对视频片段进行标注；3）数据分析：对数据集的属性分布、视频质量、亮度变化、头部姿态分布和运动平滑度等方面进行分析；4）模型训练：在数据集上训练无条件视频生成和视频面部属性编辑等任务的相关模型；5）模型评估：使用FVD和FID等指标对模型生成的视频质量和图像质量进行评估。

背景与挑战

背景概述

随着生成对抗网络（GANs）的迅速发展，人脸生成和编辑技术取得了显著进展。然而，现有的公开人脸数据集主要集中在静态图像上，缺乏具有丰富面部属性标注的视频数据集。为了填补这一空白，Hao Zhu等人于2022年提出了高质量名人视频数据集（CelebV-HQ）。该数据集包含35,666个视频片段，涉及15,653个身份，每个视频片段都经过人工标注，包含83个面部属性，涵盖外观、动作和情绪。CelebV-HQ的创建旨在为相关研究领域提供高质量、大规模和多样化的视频数据集，并推动人脸生成和编辑技术的发展。

当前挑战

构建高质量名人视频数据集（CelebV-HQ）面临着诸多挑战。首先，收集的视频需要满足时间一致性、高分辨率和全头部的严格要求，这导致数据集规模的扩展既耗时又费力。其次，数据质量不仅体现在高保真度和分辨率上，还体现在数据样本的多样性和自然分布上，需要精心设计的数据过滤过程来确保所有要求。最后，面部属性集的覆盖范围需要足够全面，以便从时间和变量的角度充分描述人脸，同时标注过程需要准确高效。为了解决上述挑战，研究团队精心设计了一个数据集构建流程，包括数据收集、数据预处理和数据标注。

常用场景

经典使用场景

CelebV-HQ数据集，作为一个大规模、高质量、多样化的视频人脸属性数据集，其最经典的使用场景在于视频人脸生成和编辑任务。该数据集包含35,666个视频片段，分辨率为至少512×512，涉及15,653个身份，所有片段均手动标注了83个面部属性，涵盖了外观、动作和情绪。通过对CelebV-HQ的全面分析，其在年龄、种族、亮度稳定性、运动平滑性、头部姿态多样性和数据质量等方面的多样性得到了充分展示，这为视频人脸生成和编辑任务提供了丰富的数据基础。此外，CelebV-HQ在无条件的视频生成和视频人脸属性编辑任务上的有效性也得到了验证。

衍生相关工作

CelebV-HQ数据集的提出引发了相关研究领域的广泛关注，并衍生出了一系列经典工作。例如，基于CelebV-HQ数据集，研究人员开发了多种视频人脸生成和编辑方法，如无条件的视频生成、视频人脸属性编辑、人脸重演和人脸交换等。这些方法在视频人脸生成和编辑任务中取得了显著的成果，推动了相关领域的发展。此外，CelebV-HQ数据集还激发了神经渲染和脸部分析等领域的创新研究，为相关领域的进一步发展提供了新的机遇和挑战。

数据集最近研究

最新研究方向

高质量名人视频数据集（CelebV-HQ）的提出，标志着视频人脸属性研究进入了一个新的阶段。该数据集以其高分辨率、大规模和丰富的面部属性标注，为视频人脸生成、编辑、识别等任务提供了强大的数据支撑。研究前沿主要集中在如何利用CelebV-HQ的高质量视频数据，结合深度学习技术，实现更自然、更流畅的人脸视频生成和编辑。此外，CelebV-HQ的丰富面部属性标注也为人脸分析和情感识别等任务提供了新的可能性。未来，CelebV-HQ有望推动视频人脸属性研究的进一步发展，为相关领域带来新的机遇和挑战。

相关研究论文

• CelebV-HQ: A Large-Scale Video Facial Attributes Dataset

  商汤科技研究院 · 2022年