SDE dataset

SDE数据集是由香港科技大学（广州）创建的大规模真实世界事件图像数据集，包含超过31,477对图像和事件，涵盖室内外低光和正常光照条件。数据集通过机器人手臂精确捕捉，确保空间对齐精度高达0.03mm，并采用匹配对齐策略，使90%的数据集时间对齐误差控制在0.01s以内。该数据集主要用于解决真实世界低光场景下的图像增强问题，特别是在需要高动态范围和高时间分辨率的场景中。The SDE Dataset is a large-scale real-world event-image dataset developed by The Hong Kong University of Science and Technology (Guangzhou). It comprises over 31,477 paired image and event samples, covering both indoor and outdoor environments under both low-light and standard illumination conditions. It was precisely acquired using a robotic arm, guaranteeing a spatial alignment accuracy of up to 0.03 mm, and employs a matching alignment strategy to limit the temporal alignment error of 90% of the dataset to within 0.01 seconds. This dataset is primarily designed to tackle the challenge of image enhancement in real-world low-light scenarios, particularly those demanding high dynamic range and high temporal resolution.

搜集汇总

数据集介绍

构建方式

在低光图像增强领域，构建高质量的事件-图像配对数据集面临空间与时间对齐的双重挑战。SDE数据集通过创新的机器人对齐系统实现了高精度采集，将DAVIS346事件相机安装在Universal UR5机械臂上，沿预设的非线性轨迹运动，确保了空间对齐误差低于0.03毫米。为克服时序偏差，研究团队设计了匹配对齐策略，通过多次采集同一场景并选取时间间隔误差最小的序列进行配对，使90%的数据时序误差小于0.01秒，最终构建了包含超过3万对低光与正常光照条件下时空对齐图像与事件的大规模真实世界数据集。

特点

SDE数据集在低光视觉研究中展现出显著优势，其核心特点在于同时涵盖室内外动态场景，突破了以往数据集局限于静态或线性运动的约束。数据集提供了高动态范围的事件流与RGB图像的精确配对，且每对数据均包含低光输入及其对应的正常光照真值，为监督学习提供了坚实基础。与现有同类数据集相比，SDE在规模、对齐精度和场景多样性方面均实现了显著提升，例如其空间对齐精度较SDSD数据集提高两个数量级，并为事件引导的低光增强方法提供了至关重要的真实世界基准。

使用方法

该数据集主要用于训练和评估事件引导的低光图像增强模型。研究者可将低光图像及其配对的事件流作为输入，以正常光照图像作为监督真值，进行端到端的网络训练。数据集中丰富的动态场景与精确对齐特性，使得其特别适用于开发能够融合图像色彩内容与事件边缘信息的鲁棒性算法。在实际应用中，数据集可按标准划分方案使用，例如将76个序列用于训练，15个序列用于测试，并可结合随机裁剪、翻转等数据增强技术以提升模型泛化能力。

背景与挑战

背景概述

SDE数据集由香港科技大学（广州）人工智能学域的研究团队于2023年构建，旨在解决事件相机在低光照图像增强领域缺乏大规模、真实世界、时空对齐数据的关键瓶颈。该数据集包含超过三万对在低光照与正常光照条件下采集的时空对齐图像与事件流，覆盖室内外动态场景。其核心研究问题是通过融合事件相机的高动态范围优势与RGB图像的颜色信息，实现鲁棒的低光照图像增强，以推动计算机视觉在极端光照环境下的感知能力。该数据集的发布为事件引导的低光照增强研究提供了至关重要的基准，显著提升了模型在真实复杂场景中的泛化性能。

当前挑战

SDE数据集面临的挑战主要体现在所解决的领域问题与构建过程两方面。在领域层面，低光照图像增强任务需克服图像能见度低、噪声显著以及色彩失真等退化问题，而传统帧式方法在边缘细节模糊时易产生曝光不平衡与色彩畸变。事件数据虽能提供高动态范围的边缘信息，但其与图像模态的噪声分布差异使得直接特征融合可能加剧区域噪声。在构建层面，确保动态场景中低光与正常光序列间高精度的时空对齐是核心难题，尤其是非线性运动轨迹下的空间对准，以及运动起始时间与帧捕获时间间隔随机性导致的时间失准。数据采集系统需在复杂光照条件下维持亚毫米级空间误差与毫秒级时间同步，这对硬件设计与校准策略提出了极高要求。

常用场景

经典使用场景

在低光照图像增强领域，SDE数据集凭借其大规模、真实世界、时空对齐的事件-图像对特性，成为评估和训练事件引导低光增强算法的基准平台。该数据集通过机器人臂系统采集非线性运动轨迹下的动态场景，有效模拟了真实环境中光照不均、运动模糊等复杂条件，为算法提供了丰富的边缘细节和结构信息。研究者利用该数据集能够系统验证模型在极端低光环境下恢复纹理、抑制噪声的能力，推动了事件相机与传统RGB相机融合的前沿探索。

衍生相关工作

基于SDE数据集，研究者提出了EvLight等一系列创新方法，推动了事件引导低光增强领域的发展。EvLight框架引入信噪比引导的区域特征选择机制，实现了事件与图像特征的自适应融合，在多项基准测试中超越了传统帧基方法如Retinexformer与事件引导方法如ELIE。该数据集亦促进了类似eSL-Net、Liu等人工作的优化与比较，为低光视频增强、去模糊等衍生任务提供了新的评估标准，激发了多模态融合、噪声建模等方向的研究浪潮。

数据集最近研究

最新研究方向

在低光照图像增强领域，事件相机凭借其高动态范围等优势正成为研究热点。SDE数据集的推出，通过非线性机器人轨迹实现了超过三万对时空对齐的真实世界事件-图像数据，为事件引导的低光照增强研究提供了关键基础。当前前沿方向聚焦于如何有效融合事件流与图像的特征，以应对极端暗光下的噪声与细节丢失问题。例如，基于该数据集提出的EvLight框架，创新性地引入信噪比引导的区域特征选择机制，在全局与局部层面自适应地整合事件的结构信息与图像的色彩内容，显著提升了动态场景下的增强鲁棒性与细节还原能力。这一进展不仅推动了跨模态感知在计算成像中的应用，也为自动驾驶、夜间监控等实际场景提供了新的技术路径。

相关研究论文

• Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach

  香港科技大学（广州） · 2024年