DESOBA

DESOBA数据集是一个用于前景物体阴影生成的合成数据集，基于Shadow-OBject Association数据集构建，移除了所有阴影以用于阴影生成任务和其他与阴影相关的任务。

The DESOBA dataset is a synthetic dataset designed for foreground object shadow generation. It is constructed based on the Shadow-Object Association dataset, with all shadows removed to facilitate tasks related to shadow generation and other shadow-associated tasks.

原始信息汇总

数据集概述

数据集名称: DESOBA

数据集目的: 用于对象阴影生成，解决合成图像中前景对象与背景之间的阴影不一致问题，通过根据背景信息为前景对象生成合理的阴影，使合成图像更加真实。

数据集构建:

• 来源: 基于Shadow-OBject Association (SOBA) 数据集，该数据集收集了复杂场景中的真实世界图像，并提供了对象-阴影对的标注掩码。
• 处理: 从SOBA数据集中移除所有阴影，构建了DEshadowed Shadow-OBject Association (DESOBA) 数据集，用于阴影生成任务及其他与阴影相关的任务。

数据集组成:

• 训练集: 839张图像，包含2,995个对象-阴影对。
• 测试集: 160张图像，包含624个对象-阴影对。

数据集下载:

• 链接: Baidu Cloud (访问码: 1234) 或 Google Drive。

数据集扩展:

• DESOBAv2: 包含更多图像和对象-阴影对，并提出了基于扩散的方法SGDiffusion，以实现更好的结果。

数据集使用

数据集可视化:

• 训练图像对: 839对，存储于/DESOBA_DATASET/TrainTestVisualization/train/。
• BOS-free测试图像对: 34对，存储于/DESOBA_DATASET/TrainTestVisualization/train/test_bosfree。
• BOS测试图像对: 126对，存储于/DESOBA_DATASET/TrainTestVisualization/train/test_bos。

真实合成图像生成:

• 单个前景对象: 存储于/DESOBA_DATASET/CompositeImages/1_ForegroundObject/。
• 两个前景对象: 存储于/DESOBA_DATASET/CompositeImages/2_ForegroundObject。

数据集评估:

• 评估指标: 根均方误差(RMSE)和结构相似性指数(SSIM)。
• 评估结果: 包括全局和局部RMSE及SSIM，针对BOS和BOS-free测试图像。

数据集引用

@article{hong2021shadow, title={Shadow Generation for Composite Image in Real-world Scenes}, author={Hong, Yan and Niu, Li and Zhang, Jianfu}, journal={AAAI}, year={2022} }

搜集汇总

数据集介绍

构建方式

DESOBA数据集的构建基于Shadow-OBject Association (SOBA)数据集，该数据集收集了复杂场景中的真实图像，并提供了对象与阴影对的标注。为了构建DESOBA数据集，研究者首先移除了SOBA数据集中所有对象的阴影，形成了一个无阴影的图像集。随后，通过随机选择目标图像中的前景对象，并将其阴影区域替换为无阴影图像中的对应区域，合成了一个没有前景阴影的复合图像。这些复合图像与原始目标图像配对，形成了用于阴影生成任务的训练和测试数据。

特点

DESOBA数据集的显著特点在于其合成性质和多样性。该数据集包含了839张训练图像和160张测试图像，总计3619个对象-阴影对。数据集中的图像涵盖了复杂场景中的多种对象和阴影组合，能够有效支持阴影生成及相关任务的研究。此外，数据集还提供了背景对象和阴影的标注，使得研究者可以在不同层次上进行分析和实验。

使用方法

DESOBA数据集的使用方法多样，既可用于训练模型，也可用于测试和评估。用户可以通过提供的代码脚本，轻松加载和可视化训练/测试图像对。此外，数据集还提供了多种预训练模型，如SGRNet和Pix2Pix等，用户可以直接使用这些模型进行阴影生成任务。对于自定义数据，用户只需提供前景对象掩码和背景图像，即可利用预训练模型生成相应的阴影。

背景与挑战

背景概述

在图像合成领域，前景物体与背景之间的阴影不一致性是一个长期存在的问题，尤其是在合成图像的真实感方面。为了解决这一问题，DESOBA数据集应运而生，旨在通过生成合理的前景物体阴影，使合成图像更加逼真。该数据集基于SOBA数据集构建，移除了所有阴影以创建无阴影的前景物体图像，从而为阴影生成任务提供了丰富的训练和测试数据。DESOBA数据集包含839张训练图像和160张测试图像，涵盖了2995个物体-阴影对，为研究者提供了一个强大的工具来探索和改进阴影生成技术。

当前挑战

DESOBA数据集的构建过程中面临了多个挑战。首先，如何从复杂场景中准确移除阴影并保持图像的自然性是一个技术难题。其次，生成的前景物体阴影需要与背景信息相匹配，以确保合成图像的真实感。此外，数据集的扩展和更新，如DESOBAv2的推出，进一步增加了数据处理的复杂性。在实际应用中，如何在高分辨率图像上保持阴影生成的准确性和效率，以及如何在不同光照条件下生成一致的阴影，都是当前研究中亟待解决的问题。

常用场景

经典使用场景

DESOBA数据集的经典使用场景主要集中在对象阴影生成的任务上。该数据集通过提供合成图像及其对应的阴影信息，使得研究人员能够训练和评估模型在生成逼真阴影方面的能力。具体而言，DESOBA数据集通过去除原始图像中的阴影，生成无阴影的图像，并在此基础上重新合成阴影，从而为模型提供了一个理想的训练和测试环境。

解决学术问题

DESOBA数据集解决了在合成图像中对象与背景阴影不一致的学术问题。通过提供精确的对象与阴影对，该数据集使得研究人员能够开发和验证新的算法，以生成更加逼真的阴影效果。这不仅推动了计算机视觉领域的发展，还为增强现实（AR）和虚拟现实（VR）等应用提供了技术支持，具有重要的学术意义和实际应用价值。

衍生相关工作

基于DESOBA数据集，研究者们开发了多种相关的经典工作。例如，DESOBAv2版本引入了扩散模型SGDiffusion，显著提升了阴影生成的质量。此外，还有诸如Pix2Pix、ShadowGAN、Mask-ShadowGAN等图像翻译方法，这些方法在DESOBA数据集上进行了验证和改进，进一步推动了阴影生成技术的发展。