RGB-polarization dataset

RGB-polarization数据集包含高分辨率的RGB图像及其对应的斯托克斯参数，用于评估RGB到偏振图像估计任务的深度学习模型。该数据集覆盖了超过2000个自然场景，并提供了在多样化照明条件下的三原色和超光谱斯托克斯测量数据。数据集的创建旨在为传感器无偏振成像提供一个全面的基准，以促进未来从标准RGB输入中进行偏振估计的方法的设计和评估。

The RGB-polarization dataset comprises high-resolution RGB images and their corresponding Stokes parameters, which is used to evaluate deep learning models for the task of RGB-to-polarization image estimation. This dataset covers over 2000 natural scenes, and provides trichromatic and hyperspectral Stokes measurement data under diverse lighting conditions. The dataset was created to provide a comprehensive benchmark for polarization imaging using standard non-polarization sensors, so as to facilitate the design and evaluation of future polarization estimation methods based on standard RGB inputs.

搜集汇总

数据集介绍

构建方式

RGB-polarization数据集的构建基于Jeon等人提出的大规模RGB-偏振数据集，该数据集包含超过2000个自然场景的RGB图像及其对应的斯托克斯偏振分量[S1, S2, S3]。数据采集采用三色和超光谱斯托克斯测量技术，确保在不同光照条件下的多样性和真实性。数据集中的图像经过空间对齐和归一化处理，以提供高质量的监督信号。

特点

该数据集的核心特点在于其全面性和多样性，涵盖了广泛的自然场景和材料类型，为RGB到偏振图像的估计任务提供了丰富的训练和测试样本。斯托克斯参数的引入使得数据集能够全面表征光的偏振状态，包括线性偏振和圆偏振信息。此外，数据集的高分辨率和精确的标注为深度学习模型提供了可靠的基准。

使用方法

数据集的使用方法主要包括监督学习框架下的RGB到偏振图像的估计任务。输入为RGB图像（S0分量），输出为预测的斯托克斯分量[S1, S2, S3]。评估采用峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似度（LPIPS）等多种指标，确保对模型性能的全面评估。数据集还可用于下游任务，如反射分离、材料分类和阴影去除等。

背景与挑战

背景概述

偏振图像蕴含了标准RGB图像所缺失的丰富物理信息，在反射分离、材质分类等计算机视觉任务中具有重要价值。由新加坡国立大学Beibei Lin等人于2025年提出的RGB-polarization数据集，开创性地将RGB-to-polarization估计定义为从常规RGB图像推断斯托克斯参数的新任务。该研究基于Jeon等人构建的大规模RGB-偏振数据集，涵盖了2000余个自然场景的多光照条件数据，为传感器无关的偏振成像建立了首个系统基准。这项工作通过评估包括Uformer、MAE和扩散模型在内的多种先进架构，不仅揭示了不同方法在偏振分量重建中的性能边界，更为跨模态物理信息挖掘提供了新的研究范式。

当前挑战

RGB-to-polarization估计面临双重挑战：在领域层面，偏振信息与RGB强度之间的非线性映射关系复杂，斯托克斯参数S1、S2、S3分别对应不同偏振态，需要模型同时捕捉材料表面特性与光场交互的物理规律；在构建层面，现有数据集中金属、双折射材料等特殊样本的覆盖不足，且偏振相机与RGB传感器的光谱响应差异导致跨模态对齐困难。实验表明，基于重建的方法在像素级精度上优于生成式模型，但两者对复杂材质（如生物组织）的偏振模式预测仍存在显著误差，这凸显了融合物理先验与数据驱动方法的重要性。

常用场景

经典使用场景

在计算机视觉领域，RGB-polarization数据集被广泛应用于从标准RGB图像中推断偏振信息的研究。该数据集通过提供RGB图像与对应的斯托克斯参数（S1, S2, S3）的配对数据，为深度学习模型提供了训练和评估的基础。经典使用场景包括利用生成式或恢复式模型（如Diffusion模型和Transformer架构）进行RGB到偏振图像的转换，从而在无需专用硬件的情况下获取偏振信息。

衍生相关工作

该数据集衍生了多项经典工作，包括基于恢复式架构的Restormer和Uformer，以及生成式模型如WDiff和DiT。此外，预训练模型MAE和Stable Diffusion的适配进一步提升了偏振估计的精度。这些工作不仅验证了数据集的实用性，还推动了传感器无关偏振成像的发展，为后续研究提供了丰富的基线方法和理论 insights。

数据集最近研究

最新研究方向

近年来，RGB-polarization数据集的研究方向主要集中在从标准RGB图像中推断偏振信息的新任务上。这一研究方向旨在解决偏振图像获取成本高、设备复杂的问题，通过深度学习模型直接从RGB图像中估计斯托克斯参数（S1, S2, S3）。前沿研究包括基于恢复和生成的深度学习架构，如Restormer、Uformer和扩散模型（如WDiff和DiT），以及利用大规模预训练模型（如MAE和Stable Diffusion）进行迁移学习。这一方向的热点在于如何结合物理约束和自监督学习，进一步提升偏振估计的精度和泛化能力，为材料分类、反射分离和阴影去除等下游任务提供支持。

相关研究论文

• RGB-to-Polarization Estimation: A New Task and Benchmark Study

  新加坡国立大学 · 2025年