schirrmacher/humans

---
license: apache-2.0
tags:
- art
pretty_name: Human Segmentation Dataset
---

# Human Segmentation Dataset

[>>> Download Here <<<](https://drive.google.com/drive/folders/1K1lK6nSoaQ7PLta-bcfol3XSGZA1b9nt?usp=drive_link)

This dataset was created **for developing the best fully open-source background remover** of images with humans. It was crafted with [LayerDiffuse](https://github.com/layerdiffusion/LayerDiffuse), a Stable Diffusion extension for generating transparent images. After creating segmented humans, [IC-Light](https://github.com/lllyasviel/IC-Light) was used for embedding them into realistic scenarios.

The dataset covers a diverse set of segmented humans: various skin tones, clothes, hair styles etc. Since Stable Diffusion is not perfect, the dataset contains images with flaws. Still the dataset is good enough for training background remover models. I created more than 7.000 images with people and diverse backgrounds.

# Example


# Support

If you identify weaknesses in the data, please contact me.

I had some trouble with the Hugging Face file upload. This is why you can find the data here: [Google Drive](https://drive.google.com/drive/folders/1K1lK6nSoaQ7PLta-bcfol3XSGZA1b9nt?usp=drive_link).

# Research

Synthetic datasets have limitations for achieving great segmentation results. This is because artificial lighting, occlusion, scale or backgrounds create a gap between synthetic and real images. A "model trained solely on synthetic data generated with naïve domain randomization struggles to generalize on the real domain", see [PEOPLESANSPEOPLE: A Synthetic Data Generator for Human-Centric Computer Vision (2022)](https://arxiv.org/pdf/2112.09290). However, hybrid training approaches seem to be promising and can even improve segmentation results.

Currently I am doing research how to close this gap. Latest research is about creating segmented humans with [LayerDiffuse](https://github.com/layerdiffusion/LayerDiffuse) and then apply [IC-Light](https://github.com/lllyasviel/IC-Light) for creating realistic light effects and shadows.

# Changelog

### 08.06.2024

- Applied [IC-Light](https://github.com/lllyasviel/IC-Light) to segmented data
- Added higher rotation angle to augmentation transformation

### 28.05.2024

- Reduced blur, because it leads to blurred edges in results

### 26.05.2024

- Added more diverse backgrounds (natural landscapes, streets, houses)
- Added more close-up images
- Added shadow augmentation

license: Apache-2.0
tags:
- art
pretty_name: 人类分割数据集

# 人类分割数据集

[>>> 点击此处下载 <<<](https://drive.google.com/drive/folders/1K1lK6nSoaQ7PLta-bcfol3XSGZA1b9nt?usp=drive_link)

本数据集专为开发最优的全开源人类图像背景移除工具而构建。其制作依托[LayerDiffuse](https://github.com/layerdiffuse/LayerDiffuse)——一款用于生成透明图像的稳定扩散（Stable Diffusion）扩展工具。在生成分割后的人类图像后，作者使用[IC-Light](https://github.com/lllyasviel/IC-Light)将这些图像嵌入至真实场景中。

本数据集涵盖多样化的分割人类样本：包含不同肤色、服饰、发型等各类元素。由于稳定扩散本身存在局限性，数据集中包含部分存在瑕疵的图像，但该数据集仍足以用于训练背景移除模型。作者共生成了7000余张包含人类与多样背景的图像。

# 示例


# 支持与反馈

若您发现数据集存在缺陷，欢迎与作者联系。
作者在Hugging Face平台的文件上传环节遇到了一些问题，因此数据集的完整下载链接为[Google Drive](https://drive.google.com/drive/folders/1K1lK6nSoaQ7PLta-bcfol3XSGZA1b9nt?usp=drive_link)。

# 研究背景

合成数据集在实现高精度分割任务时存在局限性，原因在于人工光照、遮挡、尺度变化与背景设置等因素会导致合成数据与真实图像之间存在领域鸿沟。正如[PEOPLESANSPEOPLE：面向以人为核心的计算机视觉合成数据生成器（2022）](https://arxiv.org/pdf/2112.09290)中所述：**仅通过简单领域随机化生成的合成数据训练的模型，难以在真实领域中实现泛化**。不过，混合训练方案展现出了良好的应用前景，甚至可提升分割任务的效果。

目前作者正致力于研究如何缩小这一领域鸿沟，最新的研究思路为：使用[LayerDiffuse](https://github.com/layerdiffuse/LayerDiffuse)生成分割后的人类图像，再通过[IC-Light](https://github.com/lllyasviel/IC-Light)添加真实的光照效果与阴影。

# 更新日志

### 2024年6月8日

- 对分割后的数据集应用[IC-Light](https://github.com/lllyasviel/IC-Light)工具
- 在数据增强变换中添加了更大角度的旋转操作

### 2024年5月28日

- 降低了模糊程度，此前的模糊设置会造成分割边缘失真

### 2024年5月26日

- 新增了更多样化的背景（自然景观、街道、住宅等）
- 新增了更多特写图像
- 添加了阴影增强操作

原始信息汇总

Human Segmentation Dataset 概述

数据集描述

• 名称: Human Segmentation Dataset
• 用途: 用于开发最佳的全开源图像人物背景移除工具
• 创建工具: 使用 LayerDiffuse 生成透明图像，后通过 IC-Light 嵌入真实场景
• 内容: 包含多种肤色、服装、发型等的人体分割图像，总计超过7000张
• 质量: 由于Stable Diffusion的限制，部分图像存在缺陷，但足以用于训练背景移除模型

数据集更新

• 08.06.2024:
  • 应用 IC-Light 到分割数据
  • 增加增强变换的旋转角度
• 28.05.2024:
  • 减少模糊，以避免结果中边缘模糊
• 26.05.2024:
  • 增加更多多样化的背景（自然景观、街道、房屋）
  • 增加更多近距离图像
  • 增加阴影增强

下载链接

• Google Drive

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，高质量的数据集是推动人像分割技术发展的基石。该数据集专为开发开源背景移除模型而构建，其核心方法融合了前沿的生成式人工智能技术。首先，利用LayerDiffuse这一基于稳定扩散模型的扩展工具，生成具有透明背景的精细化人像分割图。随后，通过IC-Light技术将生成的人像嵌入到多样化的真实场景中，以模拟复杂的光照与阴影效果。构建过程还包含了数据增强策略，如调整旋转角度与优化模糊处理，旨在提升数据的丰富性与模型的泛化能力，最终形成了超过七千张涵盖多肤色、服饰与场景的图像集合。

特点

该数据集在合成数据生成领域展现出鲜明的特色，其核心价值在于通过技术融合弥合合成与真实图像间的域差距。数据集覆盖了广泛的人像属性，包括多样的肤色、发型与衣着风格，并嵌入了街道、自然景观等多种背景环境，以增强场景的多样性。尽管生成式模型存在固有缺陷，可能导致部分图像存在瑕疵，但通过IC-Light技术模拟的真实光影效果，显著提升了合成图像的视觉真实感。这种对光照、遮挡与尺度的精细化处理，使其成为训练背景移除模型的优质资源，尤其适用于探索混合训练方法以提升模型在真实场景中的分割性能。

使用方法

该数据集主要服务于人像分割与背景移除模型的训练与评估，为相关计算机视觉研究提供了关键数据支持。使用者可直接从提供的存储链接下载完整数据，并应用于模型开发流程。数据集已成功支撑了如BiRefNet等先进分割模型的训练，展现了其实际应用价值。在具体使用中，研究者可将其作为合成数据源，与真实图像数据结合，构建混合训练集以提升模型泛化能力。同时，数据集开放的反馈机制鼓励用户识别数据弱点，促进了数据质量的持续迭代与社区协作研究。

背景与挑战

背景概述

在计算机视觉领域，人体分割作为图像理解与编辑的关键技术，长期面临高质量标注数据稀缺的挑战。2024年，由Marvin Schirrmacher创建的Human Segmentation Dataset应运而生，旨在为开发完全开源的人像背景去除模型提供支持。该数据集利用LayerDiffuse与IC-Light等先进生成工具，合成了涵盖多样肤色、服饰与发型的逾七千张人像及其背景图像，其核心研究问题在于通过合成数据驱动模型优化，以提升人像分割的精度与泛化能力，并为BiRefNet等模型提供了重要训练资源，推动了开放源码背景去除技术的发展。

当前挑战

该数据集致力于解决人像背景去除这一具体领域问题，其挑战在于合成数据与真实图像间存在的领域差距，如人工光照、遮挡与背景的差异可能导致模型泛化性能下降。构建过程中的挑战则体现在生成技术的局限性上：Stable Diffusion等工具可能产生存在瑕疵的图像，需通过调整模糊度、增强阴影与旋转角度等后处理手段进行优化；同时，合成数据的多样性虽经扩充，但在真实场景的复杂性与数据规模上仍需持续完善，以支撑模型在实际应用中的鲁棒性。

常用场景

经典使用场景

在计算机视觉领域，高质量的人像分割数据集对于推动图像背景移除技术的发展至关重要。Human Segmentation Dataset 作为一项开源资源，其最经典的使用场景是训练和评估背景移除模型，特别是针对包含人物的图像。该数据集通过合成方法生成了超过7,000张涵盖多样肤色、服饰、发型及背景的图像，为模型提供了丰富的训练样本，旨在克服合成数据与真实图像之间的领域差距，提升模型在复杂真实场景中的泛化能力。

衍生相关工作

围绕该数据集，已衍生出多项相关研究工作。其中，BiRefNet 直接利用该数据集进行背景移除模型的训练与优化。同时，数据集创建过程中整合的 LayerDiffuse 和 IC-Light 技术，本身便是基于稳定扩散模型的扩展，这些方法在生成透明图像和模拟真实光照方面取得了进展。此外，数据集的设计理念与《PEOPLESANSPEOPLE: A Synthetic Data Generator for Human-Centric Computer Vision》等学术文献提出的混合训练思路相呼应，共同推动了合成数据在人物中心计算机视觉任务中的应用探索。

数据集最近研究

最新研究方向

在计算机视觉领域，人类分割数据集正推动着开放背景移除技术的发展。该数据集利用LayerDiffuse生成透明图像，并结合IC-Light嵌入真实场景，旨在弥合合成数据与真实图像之间的域差距。前沿研究聚焦于混合训练方法，通过优化光照、阴影和背景多样性来提升模型在真实环境中的泛化能力。这一方向不仅促进了如BiRefNet等先进模型的应用，也为人类中心视觉任务的精准分割提供了关键数据支持，具有重要的实践意义。