Flickr-Faces-HQ (FFHQ)|人脸识别数据集|生成对抗网络数据集

Flickr-Faces-HQ (FFHQ) 是一个高质量的人脸图像数据集，最初是为生成对抗网络（GAN）的基准而创建的。该数据集包含70,000张1024x1024分辨率的PNG图像，涵盖了年龄、种族和图像背景的显著变化，并且很好地覆盖了眼镜、太阳镜、帽子等配件。这些图像是从Flickr网站爬取的，因此继承了该网站的所有偏见，并使用dlib自动对齐和裁剪。只有使用宽松许可证的图像被收集。使用了各种自动过滤器来修剪数据集，并最终使用Amazon Mechanical Turk来移除偶尔的雕像、绘画或照片的照片。

Flickr-Faces-HQ (FFHQ) is a high-quality facial image dataset originally created for benchmarking Generative Adversarial Networks (GANs). The dataset comprises 70,000 PNG images with a resolution of 1024x1024, showcasing significant variations in age, ethnicity, and image backgrounds, and provides a comprehensive coverage of accessories such as glasses, sunglasses, and hats. These images were scraped from the Flickr website, thereby inheriting all the biases of the site, and were automatically aligned and cropped using dlib. Only images under permissive licenses were collected. Various automatic filters were employed to curate the dataset, and Amazon Mechanical Turk was ultimately used to remove occasional images of statues, paintings, or photographs.

原始信息汇总

Flickr-Faces-HQ Dataset (FFHQ) 概述

数据集基本信息

• 名称: Flickr-Faces-HQ Dataset (FFHQ)
• 图像数量: 70,000张
• 图像格式: PNG
• 分辨率: 1024×1024
• 创建目的: 作为生成对抗网络（GAN）的基准
• 来源: 从Flickr网站爬取，自动对齐和裁剪使用dlib库
• 内容特点: 年龄、种族和图像背景有显著变化，包含多种配件如眼镜、太阳镜、帽子等

数据集结构

• 主文件夹: ffhq-dataset，大小2.56 TB，包含210,014个文件
• 子文件夹及内容:
  • ffhq-dataset-v1.json: 元数据文件，包含版权信息、URL等，大小254 MB
  • images1024x1024: 对齐和裁剪的图像，70,000张，大小89.1 GB
  • thumbnails128x128: 缩略图，70,000张，大小1.95 GB
  • in-the-wild-images: 原始Flickr图像，70,000张，大小955 GB
  • tfrecords: 多分辨率数据，用于StyleGAN和ProGAN，大小273 GB
  • zips: 各文件夹内容的ZIP存档，大小1.28 TB

数据集使用

• 训练与验证: 前60,000张图像用于训练，剩余10,000张用于验证
• 无重复图像: 数据集内无重复图像，但in-the-wild文件夹可能包含同一图像的多个副本

下载与处理

• 下载脚本: download_ffhq.py，支持自动下载、校验和重试，支持多线程下载
• 元数据: ffhq-dataset-v1.json，包含每张图像的详细信息，如原始Flickr信息、对齐图像信息、缩略图信息和原始图像信息

许可证

• 图像许可证: 基于Flickr作者发布的不同许可证，允许免费使用、重新分发和修改非商业用途
• 数据集许可证: 由NVIDIA Corporation提供，基于Creative Commons BY-NC-SA 4.0许可证，允许非商业用途的使用、重新分发和修改，需引用论文并标明更改

致谢

• 感谢多位研究者的讨论和帮助，以及Vahid Kazemi和Josephine Sullivan在自动人脸检测和对齐方面的工作

AI搜集汇总

数据集介绍

构建方式

Flickr-Faces-HQ (FFHQ)数据集的构建采取了对Flickr网站上具有宽松许可的高质量人脸图片进行爬取，并通过dlib工具自动对齐和裁剪的方式。数据集中包含了70,000张分辨率为1024×1024的PNG格式图片，涵盖了不同年龄、种族以及背景的多样性，并通过自动过滤和人工审核相结合的方式确保了图片质量。

特点

FFHQ数据集的特点在于其高质量和多样性。图片来源于Flickr，具有丰富的年龄、种族和背景变化，同时包含了眼镜、太阳镜、帽子等配饰。所有图片均经过严格的自动筛选和人工校验，确保了数据集的准确性和可用性。此外，数据集的元数据提供了每张图片的详细版权信息，便于使用者合法合规地使用。

使用方法

用户可以通过提供的下载脚本来获取FFHQ数据集。该脚本支持选择性地下载JSON元数据、图片、缩略图、原始图片以及TFRecords等多分辨率数据。用户在使用数据集时需遵守相应的许可协议，并在必要时给予原作者适当的署名。数据集的元数据文件提供了每张图片的详细信息，包括Flickr链接、作者、许可类型等，方便用户了解图片的原始来源和使用条件。

背景与挑战

背景概述

Flickr-Faces-HQ (FFHQ)数据集是由NVIDIA公司的研究人员Tero Karras、Samuli Laine和Timo Aila创建的，旨在作为生成对抗网络（GAN）的基准数据集。该数据集包含70,000张高质量的人脸图像，分辨率为1024×1024像素，展现了年龄、种族和图像背景的广泛变化。FFHQ数据集从Flickr网站抓取图像，自动对齐和裁剪，并仅包含许可宽松的图像。该数据集的创建对于推动人脸生成模型的研究具有重要意义，其研究成果在计算机视觉和图形学领域产生了广泛影响。

当前挑战

FFHQ数据集在构建过程中遇到的挑战主要包括：确保图像的高质量和高分辨率，以及从原始图像中自动提取和校准人脸特征。此外，数据集的多样性和无重复性要求在图像抓取和预处理阶段进行严格的质量控制和筛选。在研究领域问题方面，FFHQ数据集解决了生成对抗网络在人脸图像合成中的真实感和多样性挑战，同时也要面对如何有效利用数据集进行模型训练和验证的挑战。

常用场景

经典使用场景

FFHQ数据集作为高质量人脸图像的集合，其经典使用场景主要集中于生成对抗网络（GAN）的训练与评估。该数据集提供了丰富的人脸变化，包括年龄、种族和背景，以及常见的配饰，为GAN模型的性能提供了全面的测试。研究者在训练 StyleGAN 等高级图像生成模型时，使用FFHQ数据集以生成逼真的人脸图像。

衍生相关工作

FFHQ数据集衍生了多项相关工作，包括但不限于改进GAN架构以生成更加高质量的人脸图像，以及利用FFHQ数据集进行人脸属性编辑和图像风格转换等研究。这些工作推动了计算机视觉和人脸图像处理领域的技术进步。

数据集最近研究

最新研究方向

Flickr-Faces-HQ (FFHQ)数据集作为高质量人脸图像的集合，被广泛用于生成对抗网络（GAN）的基准测试。近期研究方向主要集中于基于该数据集的生成模型优化，如风格化生成对抗网络架构的研究。FFHQ数据集因其丰富的年龄、种族和背景多样性，以及良好的配饰覆盖，如眼镜、太阳镜、帽子等，为生成模型提供了极具挑战性的学习场景。研究的热点事件包括利用FFHQ数据集训练出的模型在人脸合成、编辑以及超分辨率重建等方面的应用，这些研究对于图像处理和计算机视觉领域的技术进步具有重要意义。