DESOBAv2

DESOBAv2是由上海交通大学教育部人工智能重点实验室创建的大规模真实世界阴影生成数据集，旨在补充现有的小规模数据集DESOBA。该数据集包含28,573个有效实例，通过收集大量户外场景图像，并利用预训练的对象-阴影检测和修复技术构建。数据集的创建过程涉及图像收集、阴影移除和合成图像合成等步骤。DESOBAv2主要应用于图像合成领域，特别是解决前景对象与背景之间的阴影不一致问题，以提高合成图像的真实感。DESOBAv2 is a large-scale real-world shadow generation dataset created by the Key Laboratory of Artificial Intelligence, Ministry of Education, Shanghai Jiao Tong University, aiming to supplement the existing small-scale dataset DESOBA. It contains 28,573 valid instances, constructed by collecting a large number of outdoor scene images and leveraging pre-trained object-shadow detection and inpainting techniques. The dataset creation process includes steps such as image collection, shadow removal and synthetic image generation. DESOBAv2 is mainly applied in the field of image synthesis, specifically to resolve the inconsistency of shadows between foreground objects and their backgrounds, thereby improving the realism of synthesized images.

搜集汇总

数据集介绍

构建方式

在图像合成领域，为前景物体生成逼真的阴影是提升合成图像真实感的关键挑战。为弥补现有小规模数据集DESOBA的不足，DESOBAv2借助目标-阴影检测与图像修复技术大规模构建。研究团队首先从互联网收集了大量户外场景的真实图像，确保每张图像包含至少一个完整的目标-阴影对。随后，利用预训练的目标-阴影检测模型提取目标与阴影掩码，并采用预训练的修复模型对阴影区域进行修复，生成去阴影图像。基于原始真实图像与去阴影图像，通过替换背景物体的阴影区域，合成出仅缺失前景阴影的复合图像及其对应的真实目标图像，最终形成格式统一的元组数据。

特点

DESOBAv2数据集显著拓展了阴影生成任务的规模，包含21,575张图像与28,573个有效实例，每张图像至少含有一个有效目标-阴影对。其构建过程融合了自动检测与人工筛选的双重机制，确保了目标与阴影掩码的精确性。数据集覆盖人物、建筑、车辆、杂物等多种前景物体类别，且所有图像均来源于自然光照下的真实户外场景，具备高度的真实性与多样性。此外，数据集中每张图像可能包含多个目标-阴影对，为多物体场景下的阴影生成研究提供了丰富的训练素材。

使用方法

DESOBAv2数据集可直接用于训练和评估阴影生成模型。每个数据元组包含复合图像、前景物体掩码、前景阴影掩码、背景物体掩码、背景阴影掩码以及真实目标图像。研究者可基于这些输入，训练模型学习从无阴影复合图像到含阴影真实图像的映射关系。数据集已公开于GitHub仓库，支持直接下载与使用。在模型评估时，可将生成的阴影图像与真实目标图像进行对比，采用像素级或感知级指标衡量生成阴影的逼真度与位置准确性。

背景与挑战

背景概述

图像合成领域中，前景与背景之间的光影一致性是决定合成图像真实感的关键因素之一，其中阴影不一致性尤为突出。为应对这一挑战，上海交通大学计算机科学与工程系的刘庆阳、王建廷与牛力研究团队于2023年提出了DESOBAv2数据集，旨在大规模真实场景下为插入前景物体生成逼真阴影。该数据集基于前期小规模DESOBA数据集，通过结合目标-阴影检测与图像修复技术，从大量户外自然光照图像中自动构建合成图像与真实目标图像对。DESOBAv2包含21,575张图像与28,573个有效实例，显著扩充了训练数据规模，为深度学习模型在阴影生成任务中的泛化能力提供了坚实基础，推动了图像合成领域在光影一致性研究上的进展。

当前挑战

DESOBAv2所面临的挑战主要体现在两个方面。首先，在领域问题上，阴影生成任务需要解决合成图像中前景物体与背景环境之间的阴影不一致性，这要求模型能够根据背景物体-阴影对的布局与光照条件，准确预测并生成前景物体的阴影，从而提升图像合成的整体真实感。其次，在数据集构建过程中，团队遇到了多重技术难题：基于预训练修复模型去除阴影时，模型易在修复区域产生低质量阴影或明显伪影，需通过膨胀修复掩膜、图像翻转等技巧加以缓解；同时，自动检测得到的目标与阴影掩膜质量参差不齐，需经大量人工筛选以剔除低质量实例，这增加了数据集构建的复杂度与成本。

常用场景

经典使用场景

在图像合成领域，前景物体与背景之间的光影一致性是决定合成图像真实感的关键因素之一。DESOBAv2数据集专为阴影生成任务而设计，其经典使用场景在于：给定一张不含前景阴影的合成图像、前景物体掩码以及背景物体-阴影对掩码，模型需生成与背景阴影分布相协调的前景阴影，从而获得高度逼真的合成图像。该数据集通过大规模真实户外场景图像构建了丰富的训练样本，为阴影生成模型的训练与评估提供了标准化基准。

实际应用

在实际应用中，DESOBAv2数据集赋能了多种图像编辑与视觉内容创作工具。例如，在广告设计、电影特效和日常摄影中，用户常需将前景物体插入新背景，而手工调整阴影耗时且不精准。基于DESOBAv2训练的阴影生成模型可自动为插入物体生成与场景光照匹配的阴影，大幅提升合成图像的逼真度与生产效率。此外，该数据集还可用于增强现实、虚拟现实中的场景融合，以及自动驾驶仿真中阴影一致性的模拟，展现出广泛的工业价值。

衍生相关工作

DESOBAv2数据集的发布催生了一系列相关研究工作。早期工作SGRNet首次提出基于阴影生成网络的解决方案，但其训练受限于小规模DESOBA数据集。DESOBAv2的出现使得研究者能够探索更复杂的网络架构，如引入注意力机制、生成对抗网络或扩散模型的阴影生成方法。此外，该数据集还促进了阴影检测与去除任务的联合研究，例如利用目标-阴影对的几何关系提升检测精度。这些衍生工作不仅深化了对阴影生成机理的理解，也推动了图像合成领域向更高层次的真实感迈进。