DarkVision

DarkVision是由清华大学创建的多光照、多相机、低光数据集，旨在服务于图像增强和目标检测任务。该数据集包含900个静态场景和32个动态场景，捕捉了15个类别的物体，每个场景使用三种不同级别的相机在5种光照条件下拍摄。静态场景图像和动态视频分别包含约7,344和320,667个实例。DarkVision通过提供像素级对齐的亮暗图像对，为图像/视频增强和目标检测建立了基准。数据集的应用领域包括夜间监控、摄影、高速摄影和自动驾驶等，旨在解决低光环境下的视觉感知问题。DarkVision is a low-light dataset with multi-illumination and multi-camera setups developed by Tsinghua University, targeting image enhancement and object detection tasks. This dataset includes 900 static scenes and 32 dynamic scenes, covering objects from 15 categories. Each scene is captured under 5 illumination conditions using three distinct camera setups. The static scene images and dynamic videos contain approximately 7,344 and 320,667 instances respectively. DarkVision establishes benchmarks for image/video enhancement and object detection by providing pixel-aligned bright-dark image pairs. Its application fields cover night surveillance, photography, high-speed photography, autonomous driving and other scenarios, aiming to address visual perception challenges in low-light environments.

搜集汇总

数据集介绍

构建方式

DarkVision 数据集采用了一种独特的双光路光学装置，该装置能够在单次快照中同时捕获低光照图像和其明亮的参考图像。通过在镜头和相机传感器之间插入一个光束分裂器，进入的光被分成两路，分别映射到像素阵列的两个独立区域。一路通过中性密度滤光片，以获得低光照图像，另一路则保持不变，以获得明亮参考图像。通过使用不同透射率的中性密度滤光片，可以获得同一场景在不同光照水平下的图像。此外，数据集还包含了由不同型号相机在不同光照水平下捕获的静态场景和动态场景的图像/视频。为了提供定量分析，对图像传感器响应曲线进行了校准，以便从图像强度推断场景的照度。数据集经过预处理，包括暗图像补偿和光度校正，并进行像素级对齐，以生成低光照图像和明亮参考图像的配对。最后，由专业团队对数据进行人工标注，包括静态场景中的 7344 个边界框和动态场景中的 320,667 个边界框。

特点

DarkVision 数据集具有以下特点：1. 多光照水平：数据集包含了 5 个不同光照水平下的图像/视频，可以模拟不同的低光照环境。2. 多相机：数据集由 3 个不同型号的相机捕获，可以评估不同相机性能对算法的影响。3. 大规模：数据集包含了 900 个静态场景和 32 个动态场景，具有丰富的场景类型和物体类别。4. 丰富标注：数据集提供了像素级对齐的明亮参考图像，以及 15 个类别静态场景的 7344 个边界框和 4 个类别动态场景的 320,667 个边界框。5. 定量分析：数据集提供了每个场景的平均光子数分布，可以进行定量研究。

使用方法

DarkVision 数据集可用于以下任务：1. 低光照图像/视频增强：数据集提供了明亮参考图像，可用于评估和训练低光照图像/视频增强算法。2. 低光照目标检测：数据集提供了丰富的标注信息，可用于评估和训练低光照目标检测算法。3. 低光照视频分析：数据集包含了动态场景的图像/视频，可用于研究低光照视频中的目标跟踪、动作识别等任务。4. 低光照数据驱动方法研究：数据集可以用于研究低光照图像/视频的生成模型、深度学习算法等。5. 低光照图像/视频质量评估：数据集可以用于评估低光照图像/视频增强算法的性能，并与其他数据集进行比较。

背景与挑战

背景概述

暗光环境下的成像与感知是众多应用场景的必要需求，例如夜间监控、摄影、高速摄影和自动驾驶等。在这些场景中，相机受限于低信噪比，导致图像质量严重下降，并对下游的高层视觉任务如目标检测和识别构成挑战。尽管数据驱动方法在图像恢复和高层视觉任务中取得了巨大成功，但缺乏高质量的低光图像/视频基准数据集，这严重阻碍了研究进展。DarkVision 数据集是首个多光照、多相机和低光数据集，用于图像增强和目标检测。该数据集由 900 个静态场景和 32 个动态场景组成，每个场景使用三个不同等级的相机在五个光照水平下拍摄，并提供了像素级配准的明暗对，其中明亮的图像为恢复和标注提供了可靠的参考。DarkVision 数据集的发布推动了低光成像和计算机视觉任务在低光环境下的研究进展。

当前挑战

DarkVision 数据集在低光图像/视频感知领域面临以下挑战：1) 低光图像/视频的增强和目标检测；2) 构建过程中遇到的挑战，例如同时捕获低光和参考图像的难度。此外，数据集的规模、类型和标注的多样性也限制了其应用范围。为了克服这些挑战，研究人员需要开发更强大的算法来处理低光数据，并探索低光图像/视频增强和目标检测之间的相互作用。

常用场景

经典使用场景

DarkVision 数据集，作为首个多光照、多相机和低光数据集，旨在服务于图像增强和目标检测任务。其经典使用场景包括夜视监控、摄影、高速摄影和自动驾驶等，这些场景下，由于环境光弱或曝光时间短，相机传感器接收到的光子数量有限，导致图像信噪比低，图像质量严重下降，从而对下游的高层次视觉任务（如目标检测和识别）构成挑战。DarkVision 数据集提供了像素级对齐的亮暗图像对，其中亮图像作为参考，可用于图像增强和标注。该数据集包含 900 个静态场景和 32 个动态场景，涵盖了 15 个类别的对象，并提供了 5 个光照等级下的图像/视频，为低光图像/视频感知研究提供了宝贵的资源。

衍生相关工作

DarkVision 数据集的发布推动了低光图像/视频感知领域的研究进展，衍生了许多相关的研究工作。例如，基于 DarkVision 数据集，研究人员提出了多帧视频增强器和目标检测器，利用时间一致性来提高低光视频分析的性能。此外，DarkVision 数据集还被用于研究低层次任务（如图像/视频增强）和高层次任务（如目标检测）之间的相互作用，并验证了 DarkVision 数据集可以用于跨任务研究。这些研究工作为低光图像/视频感知技术的进一步发展提供了新的思路和方向。

数据集最近研究

最新研究方向

DarkVision 数据集为低光照图像/视频感知领域提供了一个重要的基准，其最新的研究方向主要集中在以下几个方面：1) 基于深度学习的低光照图像/视频增强算法研究，旨在通过神经网络模型学习图像特征和噪声分布，从而有效地恢复低光照图像/视频的细节和色彩信息；2) 低光照图像/视频中的目标检测算法研究，旨在利用 DarkVision 数据集提供的丰富标注信息，训练模型在低光照条件下准确地识别和定位目标；3) 低光照图像/视频感知中的跨任务研究，旨在探索图像增强和目标检测之间的相互关系，并开发联合进行这两项任务的算法。此外，DarkVision 数据集还推动了低光照图像/视频感知在夜间监控、夜视摄影、天文摄影等领域的应用研究。

相关研究论文

• DarkVision: A Benchmark for Low-light Image/Video Perception

  清华大学 · 2023年