SDE|低光视频增强数据集|时空对齐数据集

SDE数据集由香港科技大学（广州）信息枢纽人工智能学域创建，包含超过31,000对在低光和正常光照条件下捕获的时空对齐视频帧和事件。数据集通过机器人臂精确对齐，确保了空间误差小于0.03mm和时间误差小于0.01s。创建过程中，数据集还添加了伪语义分割和深度估计标签，以支持下游任务的评估。该数据集主要应用于低光视频增强，旨在解决在极端低光条件下图像质量下降的问题。

AI搜集汇总

数据集介绍

构建方式

SDE数据集的构建采用了高精度的机械臂系统，搭载DAVIS346事件相机，通过预先定义的非线性轨迹捕获图像和事件流。为了实现空间对齐，机械臂以0.03mm的误差精度重复轨迹。在时间对齐方面，为了解决传统方法中由于运动开始和结束时间戳之间的间隔差异引起的随机误差，SDE数据集引入了一种新的匹配对齐策略。该策略通过多次捕获每个场景下的低光和高光序列，并根据它们的时间间隔误差最小化原则进行匹配，从而将时间对齐误差降低到0.01秒以内。

特点

SDE数据集的特点在于其大规模、真实世界和时空对齐的特性。数据集包含了超过30,000对帧和事件，捕获于不同的光照条件下。这些帧和事件不仅在空间上对齐，而且在时间上也实现了高精度对齐。此外，SDE数据集还提供了丰富的伪标签，包括语义分割和深度估计标签，这些标签是通过使用视觉基础模型在正常光照序列上生成并转移至低光序列的，从而为下游任务的评估提供了基准。

使用方法

SDE数据集的使用方法包括以下几个方面：首先，数据集可用于训练低光视频增强模型，如EvLight++，该模型能够有效地融合图像和事件特征，以实现鲁棒的视频增强。其次，数据集的伪标签可以用于评估和训练下游任务，如图像分割和单目深度估计。最后，数据集的时间对齐特性使其适用于研究视频帧之间的时间动态和一致性。

背景与挑战

背景概述

在低光照条件下，图像质量往往受到可见度差、噪声和颜色失真等多种退化类型的严重影响。低光照增强（LLE）是提高此类图像质量的关键过程，对于人脸检测、夜间语义分割和深度估计等下游任务的准确执行至关重要。事件相机因其高动态范围和高速率而成为低光照视频增强的理想选择。然而，现有的研究由于缺乏大规模、真实世界和时空对齐的事件-视频数据集而受到限制。为了解决这一问题，陈康豪等研究人员于2015年8月发布了SDE数据集，这是一个包含超过30,000对帧和事件的大型数据集，这些帧和事件在不同的光照条件下捕获。该数据集使用机械臂进行精确的时空对齐，实现了小于0.03mm的空间精度和小于0.01秒的90%数据集的时间对齐误差。基于此数据集，研究人员提出了EvLight++，这是一种新的事件引导的低光照视频增强方法，旨在在实际场景中实现稳健的性能。EvLight++通过多尺度整体融合分支集成图像和事件的纹理和结构信息，并引入信噪比（SNR）引导的区域特征选择策略，增强高SNR区域的特征并增强低SNR区域的特征。此外，为了确保时间一致性和利用时间信息，该方法还引入了递归模块和时间损失。在SDE和合成SDSD数据集上的广泛实验表明，EvLight++在单图像和视频方法方面分别提高了1.37 dB和3.71 dB。为了进一步探索其在语义分割和单目深度估计等下游任务中的潜力，研究人员通过使用基础模型进行了精心标注，扩展了数据集，添加了伪分割和深度标签。在多样化的低光照场景下进行的实验表明，增强结果在语义分割的mIoU方面实现了15.97%的提升。SDE数据集的发布对低光照增强领域产生了重要影响，为相关研究提供了宝贵的数据资源。

当前挑战

尽管SDE数据集在低光照增强领域取得了显著进展，但仍面临一些挑战。首先，构建大规模、真实世界和时空对齐的事件-视频数据集具有固有的复杂性，尤其是在动态场景中。SDE数据集的构建过程需要精确的机械系统，以确保配对序列之间的精确对齐。其次，现有的低光照增强方法往往难以处理区域照明和噪声的变化，导致图像质量下降。此外，尽管事件相机在低光照条件下提供了重要的边缘细节，但直接融合来自事件和图像的特征可能会加剧不同输入区域的噪声问题。最后，现有方法通常只关注单帧增强，而忽略了时间动态，导致在视频增强中容易出现照明闪烁问题。为了解决这些挑战，未来的研究需要进一步探索更精确的数据采集方法，改进特征融合策略，并引入有效的时间建模技术，以实现更稳健和高效的低光照视频增强。

常用场景

经典使用场景

SDE数据集被广泛应用于低光视频增强领域，特别是在事件相机的高动态范围特性下，能够捕捉到更多细节。该数据集包含了超过30,000对在不同光照条件下捕捉的帧和事件，这些数据对于训练和评估低光视频增强算法至关重要。

实际应用

SDE数据集的实际应用场景包括低光条件下的视频监控、自动驾驶、夜间语义分割和深度估计等。通过使用SDE数据集训练的算法，可以在低光环境下实现更好的视频质量，从而提高监控系统的准确性，并使自动驾驶汽车在夜间行驶更加安全。

衍生相关工作

基于SDE数据集，研究人员开发了一系列相关的经典工作，包括EvLight++算法。该算法通过多尺度整体融合分支和SNR引导的区域特征选择，实现了对图像和事件的结构和纹理信息的整合。此外，该算法还引入了递归模块和时间损失，以更好地利用时间信息并保证时间一致性。