DEROBA

DEROBA是由上海交通大学构建的首个大规模物体反射关联数据集，旨在支持反射生成任务的研究。该数据集包含21016组高质量数据，通过从Pixabay收集真实世界物体-反射对，并利用BLIP2、Grounding DINO和SAM等工具结合人工标注获取前景掩膜和反射掩膜。数据构建过程包括自动前景分割、反射区域手动标注、基于修复的背景生成等步骤，最终形成反射-前景配对的训练元组。该数据集主要应用于计算机视觉领域的图像合成任务，特别是解决复合图像中物体反射的物理一致性和视觉真实性问题。

DEROBA is the first large-scale object-reflection association dataset constructed by Shanghai Jiao Tong University, aiming to support research on reflection generation tasks. This dataset comprises 21,016 high-quality samples, which are developed by collecting real-world object-reflection pairs from Pixabay and acquiring foreground masks and reflection masks by combining manual annotation with tools including BLIP2, Grounding DINO, and SAM. The dataset construction pipeline encompasses automatic foreground segmentation, manual annotation of reflection regions, repair-based background generation, and other steps, ultimately yielding training tuples consisting of reflection-foreground pairs. This dataset is primarily utilized for image synthesis tasks in the computer vision domain, specifically to resolve the challenges of achieving physical consistency and visual authenticity of object reflections within composite images.

原始信息汇总

DEROBA 数据集概述

数据集简介

DEROBA 是一个用于反射生成的大规模真实世界数据集，其核心任务是为插入的前景物体生成合理的反射，这对于图像合成（物体插入）具有重要价值。该数据集包含 16,791 张不同的图像和 21,016 个物体-反射对。

数据集规模

• 图像数量：16,791 张
• 物体-反射对数量：21,016 对

数据构成与内容

数据集为每个物体-反射对提供了以下六类图像文件：

• 原始图像：从 pixabay 收集的、包含物体反射的原始图像。
• 前景掩码：标注的前景物体掩码。
• 反射掩码：标注的反射区域掩码。
• 修复后图像：使用图像修复模型擦除物体和反射后得到的图像。
• 真实图像：对原始图像应用修复模型（使用空掩码）得到的图像，用于解决修复过程导致的颜色干扰。
• 合成图像：将前景物体从真实图像中裁剪并粘贴到修复后图像上得到的图像。

数据集构建流程

1. 从 pixabay 收集包含物体反射的原始图像。
2. 人工标注前景掩码和反射掩码。
3. 使用图像修复模型擦除物体和反射，生成修复后图像。
4. 对原始图像应用修复模型（空掩码）生成真实图像。
5. 将前景物体从真实图像裁剪并粘贴到修复后图像，生成合成图像。

数据下载与版本

数据集提供两个版本：

• 全分辨率版本：下载地址为 https://pan.baidu.com/s/1yM_Xza9luTQlyYdlCfhlZw?pwd=bcmi 或 https://www.dropbox.com/scl/fi/31iiqkgdo2etuut91byt4/DEROBA.tar?rlkey=l4jmetz45enwpi72mnsbknz04&st=uaqunlyi&dl=0 (访问码: bcmi)。
• 512分辨率版本：下载地址为 https://pan.baidu.com/s/13VxuVwQWFqoQa4vGLwjqmA?pwd=bcmi 或 https://www.dropbox.com/scl/fi/9xxs865gahaloej0wev2y/DEROBA_512.tar?rlkey=7zua8nmjhekyooavatg7xc9ui&st=yvrqmf8c&dl=0 (访问码: bcmi)。

两个版本均提供训练-测试划分文件 (train.txt, test.txt)，并遵循相同的文件结构。

相关资源

• 在线演示：http://libcom.ustcnewly.com/
• 相关文献：https://arxiv.org/pdf/2106.14490.pdf

引用信息

如果使用本数据集，请引用以下文献：

@article{niu2021making, title={Making images real again: A comprehensive survey on deep image composition}, author={Niu, Li and Cong, Wenyan and Liu, Liu and Hong, Yan and Zhang, Bo and Liang, Jing and Zhang, Liqing}, journal={arXiv preprint arXiv:2106.14490}, year={2021} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，图像合成技术致力于将前景对象无缝融入背景，而生成环境一致的反射效果是提升合成图像真实感的关键挑战。DEROBA数据集的构建遵循一套严谨的流程：首先从Pixabay平台收集包含物体-反射对的真实世界高分辨率图像；随后，利用BLIP2、Grounding DINO和SAM等先进工具自动检测并分割前景对象，同时由专业标注员手动标注对应的反射掩码。为确保数据质量，构建过程采用了精密的修复技术：对原始图像中的前景和反射区域进行修复以生成纯净背景，并额外使用全黑掩码修复原图以消除色彩差异，最终生成无反射的合成图像与其对应的真实反射图像配对。所有数据元组均经过人工筛选，剔除了低质量掩码或存在明显修复瑕疵的样本，从而保证了数据集的高标准与可靠性。

使用方法

DEROBA数据集主要用于训练和评估基于扩散模型的反射生成算法。在使用时，模型通常以无反射的合成图像及其前景对象掩码作为条件输入，学习预测并生成与背景环境物理一致、视觉逼真的反射区域。数据集的标准化格式——即由合成图像、前景掩码和真实反射图像组成的三元组——便于直接嵌入到监督学习框架中。研究者可以在此基础上，注入反射位置与外观的先验信息，或设计类型感知的模型架构，以提升生成质量。该数据集亦可用于公平比较不同反射生成方法的性能，其提供的测试集支持通过局部与全局的RMSE、SSIM等定量指标，结合视觉对比，进行综合评估。

背景与挑战

背景概述

在计算机视觉领域，图像合成技术致力于将前景对象无缝融入背景图像中，以生成视觉上自然的复合图像。其中，反射生成作为增强合成图像真实感的关键环节，长期以来缺乏专门的大规模数据集支持。上海交通大学的研究团队于2024年构建了DEROBA数据集，旨在填补这一空白。该数据集聚焦于对象与反射之间的关联学习，通过从真实场景中收集对象-反射对，并辅以精细的人工标注与修复流程，为基于扩散模型的反射生成研究提供了首个大规模、高质量的基准数据。DEROBA的建立不仅推动了反射生成任务的系统化探索，也为图像合成领域的物理一致性建模奠定了重要基础。

当前挑战

DEROBA数据集致力于解决反射生成这一特定领域问题，其核心挑战在于生成与周围环境物理一致且视觉逼真的对象反射。这要求模型能够准确推断反射的位置、尺度与外观，并适应水面、玻璃等多种反射表面的复杂光学特性。在数据集构建过程中，研究团队面临多重挑战：首先，从真实图像中自动检测并分割前景对象及其反射区域需要高精度的工具组合与大量人工校验；其次，通过修复技术生成无反射的背景图像时，需消除颜色差异并避免修复伪影，以确保数据质量；此外，反射类型的多样性（如垂直翻转与非标准反射）要求数据集具备充分的类别覆盖与精细标注，以支持类型感知的模型设计。

常用场景

经典使用场景

在计算机视觉领域，图像合成技术致力于将前景对象无缝融入背景图像，以生成视觉上自然的复合结果。DEROBA数据集作为首个专为反射生成任务构建的大规模数据集，其经典使用场景聚焦于训练和评估基于扩散模型的反射生成算法。通过提供包含前景对象、反射掩码及真实反射图像的高质量数据对，该数据集使模型能够学习物体在不同反射表面（如水面、雨湿路面）上的物理一致性和视觉逼真度，为反射生成这一长期被忽视的子任务建立了标准化基准。

解决学术问题

反射生成是图像合成中一个尚未充分探索的挑战，传统方法往往缺乏对反射物理属性和外观变化的建模能力。DEROBA数据集通过系统构建对象-反射关联数据，有效解决了反射生成任务中训练数据稀缺的核心问题。它支持模型学习反射的位置、尺度与外观先验，促进了反射类型（如垂直翻转与其他类型）的区分建模，从而推动了生成反射的物理一致性与视觉真实感，填补了该细分领域的研究空白。

实际应用

在实际应用中，DEROBA数据集为增强现实、影视后期制作和数字内容创作提供了关键技术支持。例如，在视觉特效领域，艺术家需要将虚拟物体插入实景镜头并生成符合环境的光照与反射效果。基于该数据集训练的模型能够自动合成逼真的反射，显著提升合成图像的真实感，减少手动编辑的成本。此外，该技术还可应用于游戏开发、虚拟试穿等场景，实现高效且视觉连贯的对象集成。

数据集最近研究

最新研究方向

在计算机视觉的图像合成领域，DEROBA数据集的推出标志着反射生成任务从边缘探索转向系统化研究。该数据集作为首个大规模面向对象反射关联的专用资源，为基于扩散模型的反射生成方法提供了关键训练基础。前沿研究聚焦于利用先验信息注入技术，将反射的位置、尺度及外观特征融入基础扩散模型，并通过类型感知的模型设计区分垂直翻转与其他复杂反射模式。这一方向不仅推动了物理一致且视觉逼真的反射合成，更在图像合成的真实性评估中设立了新基准，促进了生成式人工智能在细节增强与场景融合方面的深度应用。

相关研究论文

• Reflection Generation for Composite Image Using Diffusion Model

  上海交通大学 · 2026年