DESOBAv2

DESOBAv2是一个大规模的真实世界阴影生成数据集，包含28,573个前景对象的物体-阴影对，适用于监督阴影生成方法。该数据集包含21,575张真实图像，共有28,573对物体-阴影，来自户外场景。

DESOBAv2 is a large-scale real-world shadow generation dataset, comprising 28,573 object-shadow pairs of foreground objects, suitable for supervised shadow generation methods. The dataset includes 21,575 real images, totaling 28,573 object-shadow pairs, sourced from outdoor scenes.

原始信息汇总

数据集概述

数据集名称： DESOBAv2

数据集描述： DESOBAv2是一个大规模的真实世界阴影生成数据集，包含28,573个前景对象的物体-阴影对。该数据集包含21,575张真实图像，这些图像来自户外场景，每个图像包含一个物体及其对应的阴影。数据集中的图像示例展示了复合图像、前景对象掩码、前景阴影掩码、背景对象掩码、背景阴影掩码以及地面实况目标图像。

数据集版本： 数据集提供两个版本，即全分辨率版本和256x256版本。

数据集下载：

• 全分辨率版本和256x256版本： 可通过Baidu Cloud (访问码: bcmi) 或 One Drive下载。
• 未使用的阴影图像： 包含22469张图像，可用于扩展DESOBAv2数据集，下载链接为Baidu Cloud (访问码: bcmi) 或 One Drive。

数据集使用

数据集安装：

• 克隆仓库：git clone https://github.com/bcmi/Object-Shadow-Generation-Dataset-DESOBAv2.git
• 下载并解压数据集至./data/目录。

环境配置：

• 使用environment.yaml创建并激活环境：conda env create -f environment.yaml 和 conda activate SGDiffusion

训练与推理：

• 训练：python train_SGDiffusion.py
• 推理：python infer_SGDiffusion.py
• 后处理：python post_processing.py
• 评估：python eval_result.py

搜集汇总

数据集介绍

构建方式

DESOBAv2数据集的构建基于大规模真实世界阴影生成需求，精心收集了21,575张真实图像，涵盖28,573对物体与阴影的配对，主要来源于户外场景。该数据集不仅继承了前版DESOBA的特性，还通过精细的图像处理技术，生成了包括复合图像、前景物体掩码、前景阴影掩码、背景物体掩码和背景阴影掩码在内的多层次标注，为监督式阴影生成方法提供了丰富的训练资源。

特点

DESOBAv2数据集的显著特点在于其大规模的真实图像数据和精细的多层次标注，这使得它成为研究阴影生成技术的理想选择。此外，数据集提供了两种分辨率版本，即全分辨率和256x256版本，以适应不同的研究需求。数据集还额外提供了22,469张未使用的阴影图像，为扩展研究提供了可能。

使用方法

使用DESOBAv2数据集进行研究时，用户需先从提供的链接下载数据集，并解压至指定目录。随后，用户可以通过PyTorch实现的环境配置文件创建训练环境，并利用提供的训练、推理、后处理和评估脚本进行模型训练和测试。数据集的多样性和详细标注使得其在图像合成和阴影生成领域的研究中具有广泛的应用潜力。

背景与挑战

背景概述

DESOBAv2数据集是由Qingyang Liu、Junqi You等研究人员于2024年创建，旨在解决复合图像中的阴影生成问题。该数据集是DESOBA数据集的扩展版本，包含了28,573个前景对象及其对应的阴影对，主要用于监督学习方法中的阴影生成任务。DESOBAv2数据集不仅提供了21,575张真实图像，还包含了详细的图像分割信息，如前景对象掩码、前景阴影掩码等，为研究者提供了丰富的数据资源。该数据集的发布对计算机视觉领域，特别是图像合成和阴影生成技术的研究具有重要意义，推动了相关算法的发展。

当前挑战

DESOBAv2数据集在构建过程中面临多项挑战。首先，从真实场景中获取高质量的阴影数据是一项复杂任务，需要精确的图像分割和标注技术。其次，阴影生成在处理复杂形状和大尺寸对象时尤为困难，尽管模型在简单形状的小对象上表现良好，但在复杂场景中仍需多次采样以获得满意结果。此外，数据集的扩展性也是一个挑战，如何有效利用未使用的阴影图像来进一步提升数据集的多样性和覆盖范围，是未来研究的一个重要方向。

常用场景

经典使用场景

DESOBAv2数据集在图像合成领域中具有广泛的应用，尤其在生成复合图像中的阴影部分时表现尤为突出。该数据集包含了28,573个前景对象及其对应的阴影，适用于监督学习方法。通过提供真实图像中的对象与阴影对，DESOBAv2为研究者提供了一个丰富的资源库，用于训练和验证阴影生成算法，特别是在处理复杂形状和大尺寸对象时，能够通过多次采样选择最满意的结果。

解决学术问题

DESOBAv2数据集解决了图像合成领域中阴影生成这一关键问题，尤其是在复杂场景下阴影的精确生成。传统的阴影生成方法往往难以处理复杂形状和大尺寸对象，而DESOBAv2通过提供大规模的真实世界阴影数据，使得研究者能够开发出更为精确和鲁棒的阴影生成算法。这不仅推动了图像合成技术的发展，也为计算机视觉领域的其他相关研究提供了新的思路和方法。

衍生相关工作

基于DESOBAv2数据集，研究者们开发了多种阴影生成算法，如SGDiffusion模型，该模型通过扩散过程生成高质量的阴影，显著提升了阴影生成的精度和效率。此外，DESOBAv2还激发了其他相关研究，如对象与阴影的联合建模、阴影的动态生成等。这些研究不仅丰富了图像合成领域的理论基础，也为实际应用提供了强有力的技术支持。