Simulated DP images from ray tracing (Sdirt)

Sdirt数据集是由华中科技大学光学与电子信息学院的研究人员创建的，通过光线追踪技术生成具有实际光学畸变和相位的DP图像。该数据集用于深度估计任务，旨在克服DP深度对深度估计的限制，并提供了一种更为灵活和易于访问的数据源。数据集的具体大小和tokens数未在论文中明确提及。

The Sdirt dataset was created by researchers from the School of Optical and Electronic Information at Huazhong University of Science and Technology. It generates DP images with real optical distortion and phase through ray tracing techniques. This dataset is designed for depth estimation tasks, aiming to overcome the limitations of DP depth in depth estimation while providing a more flexible and easily accessible data source. The specific size and token count of the dataset are not explicitly mentioned in the accompanying paper.

搜集汇总

数据集介绍

构建方式

Sdirt数据集通过光线追踪技术生成双像素（DP）图像，以解决深度估计任务中真实DP图像数据稀缺的问题。具体而言，该数据集利用已知参数的固定焦距镜头和DP传感器系统，通过光线追踪计算空间变化的DP点扩散函数（PSF），并使用多层感知器（MLP）进行预测。随后，将每个像素的DP PSF与全焦（AiF）图像进行卷积，模拟真实相机捕获的DP图像。这一方法有效弥补了传统模拟方法中因忽略镜头畸变和相位分裂特性而导致的模拟与真实数据之间的差距。

特点

Sdirt数据集的特点在于其高度逼真的DP图像生成能力。通过光线追踪技术，该数据集能够准确模拟镜头畸变和相位分裂特性，生成的DP图像与真实数据具有高度一致性。此外，Sdirt数据集还包含一个DP-depth配对的真实测试集，适用于后续研究的验证和评估。实验结果表明，基于Sdirt训练的深度估计模型在真实DP数据上具有更好的泛化能力。

使用方法

Sdirt数据集的使用方法主要包括两个步骤：首先，通过光线追踪和MLP网络生成DP PSF，并将其与AiF图像卷积以模拟DP图像；其次，将生成的DP图像输入深度估计模型进行训练。该数据集特别适用于深度估计任务，能够有效提升模型在真实DP数据上的表现。此外，Sdirt数据集还可用于其他依赖DP图像的任务，如去模糊和自动对焦等。

背景与挑战

背景概述

Simulated DP images from ray tracing (Sdirt) 数据集由华中科技大学光学与电子信息学院的研究团队于2025年提出，旨在解决深度估计领域中双像素（DP）图像模拟与真实数据之间的领域差距问题。双像素传感器通过将每个像素分为左右两个子像素，能够捕捉相位信息，广泛应用于自动对焦、去模糊和深度估计等任务。然而，由于硬件限制，DP-深度配对数据集极为稀缺，尤其是在定制相机上进行深度估计时。Sdirt通过光线追踪技术生成逼真的DP图像，并将其集成到深度估计训练流程中，显著提升了模型在真实DP数据上的泛化能力。该数据集的提出为深度估计领域提供了新的研究工具，推动了基于DP数据的应用发展。

当前挑战

Sdirt数据集在构建和应用过程中面临多重挑战。首先，在领域问题上，深度估计任务要求模型能够准确捕捉DP图像中的相位差异和光学畸变信息，而现有模拟方法往往忽略这些关键特征，导致模拟数据与真实数据之间存在显著差距。其次，在数据构建过程中，研究人员需要克服光线追踪计算的高复杂度，确保生成的DP点扩散函数（PSF）能够准确反映真实光学系统的特性。此外，由于相机制造商对微透镜和子像素结构的保密，研究人员不得不通过简化的模型来模拟DP传感器的行为，这进一步增加了数据生成的难度。这些挑战使得Sdirt的构建不仅需要高精度的光学建模，还需要高效的算法支持。

常用场景

经典使用场景

Sdirt数据集在深度估计领域具有广泛的应用，尤其是在基于双像素（DP）传感器的深度估计任务中。通过模拟真实的双像素图像，Sdirt为研究人员提供了一个高质量的训练数据源，使得深度估计模型能够在缺乏真实DP-深度配对数据的情况下进行有效训练。该数据集通过光线追踪技术生成逼真的DP图像，模拟了真实相机中的光学畸变和相位分裂特性，从而显著提升了模型在真实DP数据上的泛化能力。

实际应用

Sdirt数据集在实际应用中具有广泛的潜力，尤其是在智能手机、自动驾驶汽车和显微镜等领域。通过提供逼真的DP图像模拟，Sdirt能够为这些领域的深度估计任务提供额外的深度信息支持。例如，在智能手机摄影中，Sdirt可以用于增强自动对焦和景深控制功能；在自动驾驶中，它可以为环境感知系统提供更精确的深度信息；在显微镜成像中，Sdirt可以帮助研究人员更准确地分析样本的三维结构。

衍生相关工作

Sdirt数据集衍生了许多相关的研究工作，尤其是在深度估计和图像去模糊领域。基于Sdirt的深度估计模型在真实DP数据上的泛化能力显著优于其他模拟方法，这为后续研究提供了新的方向。例如，研究人员可以进一步优化DP点扩散函数（PSF）的模拟方法，或探索Sdirt在其他视觉任务中的应用，如去模糊、图像重聚焦和反射去除等。此外，Sdirt还为开发更高效的DP图像生成算法提供了基础，推动了双像素传感器在计算机视觉中的广泛应用。