EasyPortrait

我们介绍了一个大规模的图像数据集EasyPortrait，用于肖像分割和人脸解析。该数据集可用于多种任务，如会议应用中的背景移除、牙齿美白、面部皮肤增强、红眼移除或眼睛颜色化等。数据集大小约为91.78GB，包含40,000张RGB图像（约38.3K FullHD图像），具有高质量的标注掩码。数据集按用户ID分为训练集、验证集和测试集，其中训练集包含30,000张图像，验证集包含4,000张图像，测试集包含6,000张图像。

We introduce a large-scale image dataset, EasyPortrait, designed for portrait segmentation and facial parsing. This dataset is applicable to a variety of tasks, such as background removal in conference applications, teeth whitening, facial skin enhancement, red-eye removal, or eye colorization. The dataset size is approximately 91.78GB, containing 40,000 RGB images (about 38.3K FullHD images) with high-quality annotated masks. The dataset is divided into training, validation, and test sets by user ID, with the training set containing 30,000 images, the validation set containing 4,000 images, and the test set containing 6,000 images.

原始信息汇总

数据集概述

数据集名称

EasyPortrait - 人脸解析和肖像分割数据集

数据集用途

用于肖像分割和人脸解析，适用于多种任务，如会议应用中的背景移除、牙齿美白、面部皮肤增强、红眼移除或眼色调整等。

数据集大小

约 91.78GB

包含内容

• 40,000 RGB图像（约38.3K FullHD图像），带有高质量标注的掩码。
• 分为训练集、验证集和测试集，按user_id划分：
  • 训练集：30,000图像
  • 验证集：4,000图像
  • 测试集：6,000图像

数据集版本

• EasyPortrait 2.0 (2023/11/13):
  • 增加了地区、种族、人类情感和光照条件的多样性。
  • 数据进一步清理并新增数据。
  • 训练/验证/测试分割比例：75%/10%/15%。
  • 支持多GPU训练和测试。
  • 新增人脸解析和肖像分割模型。
  • 包含 13,705 独特人物。

下载链接

• 图像：91.8 GB
• 标注：657.1 MB
• 元数据：1.9 MB
• 训练集：68.3 GB
• 验证集：10.7 GB
• 测试集：12.8 GB

结构

. ├── images.zip │ ├── train/ # 训练集: 30k │ ├── val/ # 验证集: 4k │ ├── test/ # 测试集: 6k ├── annotations.zip │ ├── train/
│ ├── val/
│ ├── test/
├── meta.zip # 元信息（宽度、高度、亮度、imhash、user_id）

预训练模型

提供多种预训练模型作为肖像分割和人脸解析的基准，使用平均交并比（mIoU）作为主要评估指标。

肖像分割模型

模型名称	参数数量	输入形状	mIoU
BiSeNet-V2	56.5	384 x 384	97.95
DANet	190.2	384 x 384	98.63
DeepLabv3	260	384 x 384	98.63
ExtremeC3Net	0.15	384 x 384	96.54
Fast SCNN	6.13	384 x 384	97.64
FCN + MobileNetv2	31.17	384 x 384	98.19
FPN + ResNet50	108.91	384 x 384	98.64
SegFormer-B0	14.9	384 x 384	98.61
SINet	0.13	384 x 384	93.32

人脸解析模型

模型名称	参数数量	输入形状	mIoU
BiSeNet-V2	56.5	384 x 384	76.72
DANet	190.2	384 x 384	79.3
DeepLabv3	260	384 x 384	79.11
EHANet	44.81	384 x 384	72.56
Fast SCNN	6.13	384 x 384	67.56
FCN + MobileNetv2	31.17	384 x 384	75.23
FPN + ResNet50	108.91	384 x 384	81.83
SegFormer-B0	14.9	384 x 384	81.38

标注

标注以2D数组形式呈现，图像为*.png格式，包含多个类别。

索引	类别
0	背景
1	人物
2	皮肤
3	左眉
4	右眉
5	左眼
6	右眼
7	嘴唇
8	牙齿

元数据

提供额外的元信息，包括图像名称、用户ID、高度、宽度、集合类型和亮度。

	image_name	user_id	height	width	set	brightness
0	a753e021-...	56...	720	960	train	126
1	4ff04492-...	ba...	1920	1440	test	173
2	e8934c99-...	1d...	1920	1440	val	187

训练与评估

基于MMSegmentation框架，支持单GPU和分布式训练及评估。

许可证

本工作根据Creative Commons Attribution-ShareAlike 4.0 International License授权。

搜集汇总

数据集介绍

构建方式

EasyPortrait数据集的构建基于大规模的图像采集与精细的标注过程，涵盖了40,000张高质量的RGB图像，并附带了详细的标注掩码。这些图像经过精心筛选，确保了多样性，包括不同地区、种族、情感状态以及光照条件下的图像。数据集通过`user_id`进行划分，分为训练集、验证集和测试集，分别包含30,000、4,000和6,000张图像，比例为75%、10%和15%。此外，数据集还提供了丰富的元信息，如图像的亮度、尺寸等，以支持更全面的模型训练与评估。

特点

EasyPortrait数据集的主要特点在于其高质量的标注和多样化的图像内容。每张图像都配备了详细的分割掩码，涵盖了背景、人物、皮肤、眉毛、眼睛、嘴唇和牙齿等多个类别，适用于多种人脸解析和肖像分割任务。此外，数据集的多样性体现在不同地区、种族、情感和光照条件下的图像，确保了模型在不同场景下的泛化能力。数据集的规模和精细度使其成为人脸解析和肖像分割领域的理想选择。

使用方法

EasyPortrait数据集的使用方法灵活多样，适用于多种深度学习框架。用户可以通过提供的下载链接获取数据集的图像、标注和元信息，并根据需要进行训练、验证和测试。数据集支持多GPU训练和测试，提供了多种预训练模型作为基准，用户可以根据任务需求选择合适的模型进行微调或直接使用。此外，数据集还提供了详细的训练、评估和测试脚本，基于MMSegmentation框架，用户可以快速上手并进行实验。

背景与挑战

背景概述

EasyPortrait数据集是由Alexander Kapitanov等人于2023年推出的一个大规模图像数据集，专注于人像分割和面部解析任务。该数据集包含了40,000张高质量的RGB图像，并附有详细的标注掩码，涵盖了多种应用场景，如背景移除、牙齿美白、面部皮肤增强等。数据集的创建旨在推动计算机视觉领域中与人像处理相关的研究，尤其是面部解析和人像分割技术的进步。通过提供多样化的图像数据，EasyPortrait为研究人员提供了一个强大的基准，以评估和改进现有的算法模型。

当前挑战

EasyPortrait数据集在构建过程中面临了多个挑战。首先，数据集的多样性要求涵盖不同地区、种族、情感和光照条件，这增加了数据采集和标注的复杂性。其次，高质量的标注掩码需要精确且一致的标注过程，以确保模型训练的有效性。此外，数据集的规模和多样性也对存储和计算资源提出了较高的要求。在应用层面，如何利用该数据集提升面部解析和人像分割的准确性和鲁棒性，仍然是一个重要的研究挑战。

常用场景

经典使用场景

EasyPortrait数据集在人像分割和面部解析任务中展现了其经典应用价值。该数据集的高质量标注和多样化的图像内容使其成为训练和评估人像分割模型的理想选择。特别是在背景移除、牙齿美白、面部皮肤增强、红眼移除或眼睛颜色化等应用场景中，EasyPortrait数据集提供了丰富的训练样本，能够有效提升模型的准确性和鲁棒性。

衍生相关工作

基于EasyPortrait数据集，许多相关研究工作得以展开。例如，研究人员开发了多种高效的人像分割和面部解析模型，如BiSeNet-V2、DANet和SegFormer等，这些模型在多个基准测试中表现优异。此外，该数据集还激发了关于多任务学习、跨域适应和自监督学习等方向的研究，进一步推动了计算机视觉领域的发展。

数据集最近研究

最新研究方向

在人脸解析与肖像分割领域，EasyPortrait数据集的最新研究方向主要集中在提升模型的精度和泛化能力上。随着数据集的更新，研究者们引入了更多样化的图像，涵盖不同地区、种族、情感和光照条件，以增强模型的鲁棒性。此外，多GPU训练和测试的引入，使得大规模深度学习模型的训练效率显著提升。当前的研究热点还包括探索更高效的网络架构，如SegFormer和FPN，这些模型在肖像分割和人脸解析任务中表现出色，尤其是在高分辨率图像上的处理能力。这些进展不仅推动了人脸识别和图像编辑技术的发展，也为虚拟现实、增强现实等应用场景提供了强有力的支持。