CDR

CDR数据集是由香港科技大学构建的一个大规模、分类明确、多样化的真实世界反射去除数据集。该数据集包含1063组图像，通过使用不同类型的玻璃在各种环境中捕捉，确保了数据的多样性。创建过程中，采用了基于RAW数据的管道来捕获完美对齐的输入图像和传输图像。CDR数据集主要用于评估和开发新的反射去除方法，特别是在处理真实世界中的各种反射类型时。通过详细的分类，研究者可以分析现有方法的瓶颈，从而推动反射去除技术的发展。

The CDR dataset is a large-scale, well-classified, and diverse real-world reflection removal dataset constructed by The Hong Kong University of Science and Technology. Comprising 1063 image pairs, this dataset was captured across various environments using different types of glass, ensuring the diversity of the collected data. During its construction, a RAW-data-based pipeline was employed to capture perfectly aligned input images and transmission images. The CDR dataset is primarily intended for evaluating and developing novel reflection removal methods, especially when dealing with diverse reflection types in real-world scenarios. Through its detailed classification framework, researchers can analyze the bottlenecks of existing approaches, thereby advancing the development of reflection removal technology.

搜集汇总

数据集介绍

构建方式

在反射去除研究领域，构建高质量的真实世界数据集对于推动算法发展至关重要。CDR数据集的构建采用了一种基于RAW数据的采集流程，通过固定相机位置并使用黑色布料遮挡背景，分别获取混合图像与反射图像。在RAW数据空间中，通过精确的减法运算得到透射图像，确保了图像间的完美对齐。该流程利用多种日常玻璃类型，在多样化的自然场景中进行采集，涵盖了不同反射平滑度与强度的图像，从而构建出规模庞大且类别丰富的反射去除数据集。

特点

CDR数据集以其细致的分类体系、完美的图像对齐以及高度的场景多样性而著称。该数据集依据反射的平滑度、相对强度及重影效应等标准，将图像划分为不同类别，为深入分析反射去除算法的性能瓶颈提供了结构化基础。数据集中包含1063组对齐的三元组图像，覆盖了彩色玻璃、曲面玻璃等多种日常玻璃类型，并在自然光照条件下采集，确保了数据在反射外观与场景内容上的广泛代表性。此外，数据集不仅提供RGB图像，还保留了RAW格式数据，为未来研究提供了更多可能性。

使用方法

该数据集主要用于单图像反射去除算法的训练与评估。研究者可将数据集划分为训练集、验证集与测试集，用于训练深度学习模型或评估现有方法的性能。利用其细致的分类信息，可以系统分析算法在不同反射类型（如模糊反射、尖锐反射）下的表现差异。评估时可采用PSNR、SSIM等图像质量指标，在各类别上进行定量比较。同时，提供的RAW数据支持探索反射去除在原始数据空间中的新方法，有助于推动该领域向更真实的实际应用场景发展。

背景与挑战

背景概述

在计算机视觉领域，单图像反射去除技术旨在消除照片中由玻璃表面产生的干扰性反射伪影，以恢复清晰的背景透射层。然而，长期以来，该领域的研究受限于缺乏大规模、多样化的真实世界场景数据集，导致多数基于深度学习的方法仅在合成数据或少量真实数据上进行训练与评估，难以全面反映算法在实际应用中的性能。为此，香港科技大学、卡内基梅隆大学及商汤科技的研究团队于2021年共同构建了CDR数据集，其全称为“分类化、多样化且真实世界的反射去除数据集”。该数据集的核心研究问题在于解决现有数据在规模、对齐精度和场景多样性方面的不足，通过采用基于RAW数据的采集流程，捕获了完美对齐的混合图像与透射图像对，涵盖了日常环境中多种玻璃类型与光照条件。CDR数据集的推出显著提升了反射去除领域的研究基准，为算法在真实场景下的性能评估提供了可靠依据，并推动了该技术向实际应用迈进的步伐。

当前挑战

CDR数据集所针对的反射去除任务面临多重挑战。在领域问题层面，反射去除的核心难点在于区分图像中的反射层与透射层，尤其是在反射尖锐或强度较高的复杂真实场景中，现有方法往往依赖简化假设（如反射模糊或弱强度），导致在多样化的反射类型下性能显著下降。例如，多数算法能有效处理模糊反射，却难以应对尖锐反射的分离，而后者在日常环境中极为常见。在数据集构建过程中，挑战主要体现在确保图像对齐精度与数据多样性。早期数据集常存在混合图像与透射图像之间的错位问题，这会影响训练模型的输出质量与评估准确性；此外，采集真实世界数据需克服环境光照变化、物体深度差异以及静态反射物体的动态控制等困难。CDR通过固定相机参数、使用三脚架及RAW空间计算透射层等方法，有效应对了这些挑战，为后续研究奠定了坚实基础。

常用场景

经典使用场景

在计算机视觉领域，反射去除任务旨在从透过玻璃拍摄的图像中分离出清晰的背景层，以消除由玻璃表面反射造成的视觉干扰。CDR数据集凭借其大规模、多样化的真实场景图像，成为评估单图像反射去除算法性能的经典基准。该数据集通过精心设计的采集流程，确保了混合图像与传输图像之间的完美对齐，并依据反射的平滑度、强度等特性对图像进行分类，为研究者提供了系统分析算法在不同反射类型下表现的能力。

解决学术问题

CDR数据集有效解决了反射去除研究中长期存在的两大难题：一是真实世界数据匮乏导致的算法泛化能力不足，二是缺乏对反射类型进行系统分类的基准。传统方法多依赖于合成数据或有限真实数据训练，存在显著的领域鸿沟。CDR通过提供超过千组完美对齐的真实场景三元组（混合图像、反射图像、传输图像），并依据反射平滑度（如锐利反射与模糊反射）和强度进行细致分类，使得研究者能够深入剖析算法在不同反射条件下的性能瓶颈，推动了更稳健、普适的反射去除模型的开发。

衍生相关工作

CDR数据集的发布催生了一系列围绕真实世界反射去除的深入研究与模型创新。例如，基于CDR的分类数据，研究者们能够更精准地评估如Zhang et al. (2018)、Wei et al. (2019)、BDN (Yang et al., 2018)、CoRRN (Wan et al., 2019)及Kim et al. (2020)等经典方法的局限性，特别是在处理锐利反射（SRST）时的不足。这些分析促使后续工作探索更少假设依赖的模型架构、利用原始（RAW）图像数据的信息优势，以及开发能够同时处理多种反射类型的统一框架。CDR也成为了验证新提出的物理渲染数据合成方法（如Kim et al.）或利用反射图像作为监督信号的新范式有效性的关键测试平台。