EasyPortrait

EasyPortrait是由SberDevices创建的一个大型数据集，专注于人脸解析和肖像分割任务。该数据集包含40,000张主要为室内场景的照片，模拟视频会议场景，涉及13,705名独特用户，并提供精细的分割掩码，分为9个类别。数据集的创建过程涉及通过众包平台进行数据挖掘和高质量掩码标注。EasyPortrait特别适用于处理如牙齿美白和皮肤平滑等案例，其数据量和多样性对于模型的有效学习至关重要。此外，该数据集展示了在肖像分割数据集中的最佳领域泛化能力，并证明了训练分割模型在EasyPortrait上的简易性。EasyPortrait is a large-scale dataset created by SberDevices, focusing on face parsing and portrait segmentation tasks. It contains 40,000 photos primarily captured in indoor scenes simulating video conferencing scenarios, involving 13,705 unique users, and provides fine-grained segmentation masks divided into 9 categories. The dataset's development involves data mining via crowdsourcing platforms and high-quality mask annotation. EasyPortrait is particularly suitable for applications such as teeth whitening and skin smoothing, and its data scale and diversity are critical for the effective learning of models. Additionally, this dataset demonstrates the best domain generalization capability among existing portrait segmentation datasets, and has validated the simplicity of training segmentation models on EasyPortrait.

搜集汇总

数据集介绍

构建方式

在视频会议应用日益普及的背景下，为满足实时背景移除与面部美化等计算机视觉功能对高质量数据的需求，EasyPortrait数据集通过精心设计的众包流程构建而成。研究团队利用Yandex.Toloka和ABC Elementary两个众包平台，分阶段采集了40,000张以室内场景为主的肖像照片，覆盖13,705位独特用户，并模拟视频会议中的多样化情境，包括不同头部姿态、遮挡物（如眼镜、耳机）及表情。图像标注采用分步多边形绘制策略，由多名标注者对类别对（如人物与背景、皮肤与遮挡等）进行独立标注，再通过聚合与加权平均方法融合为包含9个类别的精细分割掩码，最终经过质量验证与伦理过滤，确保了数据的高精度与适用性。

使用方法

EasyPortrait数据集的使用旨在推动视频会议相关计算机视觉模型的开发与评估。研究人员可将其直接用于训练肖像分割与面部解析模型，无需额外技巧即可获得高性能结果，得益于数据的高质量标注与领域针对性。数据集已按30,000张训练、4,000张验证与6,000张测试的标准划分，且提供匿名用户ID以支持自定义拆分，避免数据泄露。在应用中，用户可通过调整输入分辨率（如384×384至1024×1024）与结合标准数据增强策略（如光度失真）来优化模型性能。此外，数据集的跨数据集评估能力使其成为测试模型泛化性的有效基准，尤其适用于背景移除、面部美化等实时处理任务的研发与比较研究。

背景与挑战

背景概述

随着视频会议应用的普及，其实时背景移除与面部美化等计算机视觉功能需求日益增长。然而，现有的人像分割与面部解析数据集在头部姿态、种族、场景及视频会议特有遮挡物等方面多样性有限，难以满足实际应用需求。为此，SberDevices的研究团队于2023年推出了EasyPortrait数据集，旨在同时解决人像分割与面部解析任务。该数据集包含4万张主要室内场景的图像，模拟视频会议环境，涵盖1.37万名独特用户，并提供精细的9类别分割掩码。通过众包平台构建的高质量标注流程，确保了数据在种族、姿态及遮挡物等方面的多样性，显著提升了模型在视频会议领域的泛化能力与实用性。

当前挑战

EasyPortrait数据集致力于解决视频会议场景中的人像分割与面部解析问题，其核心挑战在于如何精准处理高频细节（如头发）及复杂遮挡（如眼镜、胡须），以实现自然的背景移除与面部增强功能。在构建过程中，研究团队面临标注规则设计的复杂性，例如需将胡须与皮肤类别分离、为牙齿设立独立类别，并处理透明眼镜等特殊遮挡物。此外，通过众包平台收集数据时，需克服图像质量验证、标注一致性维护及隐私保护等难题，确保数据的高分辨率与标注精度，以支持实时CPU端模型的鲁棒训练。

常用场景

经典使用场景

在计算机视觉领域，肖像分割与人脸解析任务常因数据多样性不足而受限，尤其是在视频会议场景中。EasyPortrait数据集通过提供包含丰富头部姿态、种族背景及特定遮挡物的高分辨率图像，成为训练轻量级实时分割模型的理想选择。其经典应用场景聚焦于开发视频会议应用中的背景虚化与面部美化功能，模型能够基于精细的语义掩码实现精准的像素级处理，确保在复杂光照与遮挡条件下仍保持鲁棒性。

解决学术问题

该数据集有效解决了肖像分割与人脸解析研究中数据泛化能力不足的难题。传统数据集在头部姿态多样性、遮挡物处理及牙齿类别标注方面存在局限，导致模型在真实视频会议环境中表现欠佳。EasyPortrait通过引入多场景、多民族的样本及精细的标注规则，显著提升了模型对复杂面部特征的解析精度，为跨数据集评估提供了可靠的基准，推动了实时语义分割算法在边缘设备上的部署与应用。

实际应用

在实际应用中，EasyPortrait数据集直接赋能视频会议软件的功能优化。基于其高质量标注，开发者能够训练出高效的背景替换、皮肤平滑及牙齿美白模型，这些功能可在用户设备上实时运行，无需依赖云端计算。此外，数据集涵盖的多样化场景与配件（如耳机、眼镜）确保了模型在真实办公或居家环境中的适应性，显著提升了用户体验与产品竞争力。

数据集最近研究

最新研究方向

随着视频会议应用的普及，实时背景移除与人像美化功能的需求日益增长，EasyPortrait数据集应运而生，专注于人像分割与面部解析任务。该数据集以其高分辨率图像、精细的九类标注及丰富的头部姿态多样性，成为当前计算机视觉领域的前沿研究热点。其最新研究方向聚焦于提升模型在复杂遮挡场景下的鲁棒性，如透明眼镜、胡须及手持物品的精确分割，同时探索多任务学习框架，以单一模型同时优化背景替换、皮肤平滑与牙齿美白等应用。通过跨数据集评估，EasyPortrait展现出卓越的领域泛化能力，推动了轻量化实时分割模型的发展，为视频会议系统的用户体验优化提供了关键数据支撑。

相关研究论文

• EasyPortrait -- Face Parsing and Portrait Segmentation Dataset

  SberDevices · 2024年