Diverse Reflection Removal (DRR)

Diverse Reflection Removal（DRR）数据集是由上海交通大学人工智能学院创建的高质量数据集，它包含了多样化的反射模式，通过对场景中的反射介质进行随机旋转来捕捉混合视频，并分解成帧形成数据对，从而实现了反射角度、强度和场景多样性的灵活变化。该数据集在规模、质量和多样性方面都设立了新的基准，旨在促进反射消除领域的发展。

The Diverse Reflection Removal (DRR) dataset is a high-quality dataset created by the School of Artificial Intelligence at Shanghai Jiao Tong University. It features diverse reflection patterns, where mixed videos are captured by randomly rotating reflective media in the target scene, then decomposed into frames to form data pairs, enabling flexible variations in reflection angles, intensities and scene diversities. This dataset sets new benchmarks in terms of scale, quality and diversity, aiming to advance the development of the reflection removal research field.

搜集汇总

数据集介绍

构建方式

Diverse Reflection Removal (DRR) 数据集的构建采用了创新的数据采集流程，通过随机旋转反射介质来生成多样化的反射角度和强度。具体而言，研究人员使用固定三脚架上的相机和移动设备，配合可旋转的玻璃板，捕获混合视频并将其分解为帧，形成数据对。此外，还结合了合成数据生成方法，通过随机采样传输层和反射层，并利用CLIP评分过滤以确保数据真实性，从而显著提升了反射模式的多样性和真实性。

使用方法

DRR 数据集的使用方法包括三个主要阶段：基础训练、反射不变微调和跨潜在解码器训练。基础训练阶段通过一步扩散损失函数联合训练ControlNet和U-Net的上采样块，建立基本的反射去除能力。反射不变微调阶段利用数据集中的多样化反射模式，通过一致性损失函数鼓励模型在不同反射模式下产生一致的输出。最后，跨潜在解码器训练阶段通过图像重建损失函数保留高频细节。该数据集适用于单图像反射去除任务的模型训练和评估，尤其在真实场景下的泛化能力测试中表现优异。

背景与挑战

背景概述

Diverse Reflection Removal (DRR) 数据集由上海交通大学人工智能研究院与华为公司联合研发，于2025年正式发布，旨在解决单图像反射消除这一计算机视觉领域的经典难题。该数据集通过创新性地旋转反射介质来捕捉不同角度和强度的反射图像，构建了包含23,303组训练样本和400组测试样本的大规模4K分辨率数据集，其规模和质量显著超越了SIR2、Real等传统基准数据集。作为首个系统涵盖玻璃、塑料、水面、数字显示屏等多场景反射类型的数据集，DRR为反射消除算法在真实复杂场景中的泛化能力提供了重要研究基础，推动了基于扩散模型的图像恢复技术发展。

当前挑战

DRR数据集主要面临双重挑战：在领域问题层面，单图像反射消除存在反射层与目标场景复杂纠缠的固有难题，传统方法依赖模糊或重影等经验假设难以应对真实场景的多样性；现有学习型方法受限于合成数据与真实数据的域差距，以及真实配对数据采集的物理限制。在构建过程层面，研发团队需解决高精度数据对齐的技术瓶颈——通过SIFT特征点检测和RANSAC算法克服玻璃折射导致的空间偏移，同时设计CLIP评分过滤机制提升合成数据的真实性。此外，保持4K分辨率下反射模式多样性与数据规模平衡，以及构建包含标准集(DRR-S)和挑战集(DRR-C)的评估体系，均为数据集构建过程中的核心挑战。

常用场景

经典使用场景

在计算机视觉领域，DRR数据集被广泛用于单图像反射去除（SIRR）任务的研究与评估。通过提供高质量、多样化的反射-传输图像对，该数据集支持深度学习模型在复杂真实场景下的反射分离能力验证。其独特的随机旋转反射介质数据采集方式，使得模型能够学习到不同角度、强度反射的鲁棒去除方法，为算法在博物馆展柜、商店橱窗等典型反射场景的应用奠定基础。

解决学术问题

DRR数据集有效解决了反射去除领域两大核心问题：真实数据稀缺性与合成数据域差距。通过创新的视频分解采集流程和CLIP过滤策略，构建了包含23,303对4K分辨率图像的大规模数据集，覆盖玻璃、塑料、水面等多样化反射类型。该数据集突破了传统方法依赖模糊或重影等经验假设的局限，为基于物理的反射建模和跨场景泛化研究提供了可靠基准，推动PSNR指标在SIR2基准上提升至27.19dB。

实际应用

在实际应用层面，DRR支撑的反射去除技术已成功部署于智能手机摄影、安防监控和自动驾驶系统。其水表面反射去除能力可提升水上搜救图像分析精度，而数字屏幕反射消除功能则优化了零售业商品识别系统。华为等企业采用该数据集训练的模型，显著改善了移动端在逆光橱窗拍摄时的成像质量，验证了技术落地的商业价值。

数据集最近研究

最新研究方向

在计算机视觉领域，单图像反射去除（SIRR）技术一直是研究热点，而Diverse Reflection Removal (DRR) 数据集的推出为这一领域注入了新的活力。该数据集通过随机旋转反射介质，模拟了不同角度和强度的反射效果，显著提升了数据集的规模、质量和多样性。最新研究聚焦于利用扩散模型（Diffusion Models）的强大生成先验，结合ControlNet结构，设计了一种基于一步扩散的确定性输出框架，大幅提升了推理速度。此外，研究者还提出了一种三阶段渐进式训练策略，包括反射不变微调，以增强模型在不同反射模式下的输出一致性。实验表明，该方法在常见基准测试和具有挑战性的野外图像上均达到了最先进的性能，展现出卓越的泛化能力。

相关研究论文

• Dereflection Any Image with Diffusion Priors and Diversified Data

  上海交通大学人工智能学院，上海交通大学人工智能教育部重点实验室 · 2025年