LLVIP

LLVIP是由北京邮电大学创建的一个可见光-红外配对数据集，专为低光视觉任务设计。该数据集包含30976张图像，总计15488对，主要在极暗场景下拍摄，所有图像在时间和空间上严格对齐。数据集中的行人已被标注，适用于图像融合、行人检测和图像到图像的转换等任务。创建过程中，使用双目相机收集图像，并通过注册确保可见光和红外图像的对齐。LLVIP数据集的应用领域包括提升低光条件下的图像融合、行人检测和图像转换算法性能，以及支持多模态图像注册和领域适应研究。

LLVIP is a visible-infrared paired dataset developed by Beijing University of Posts and Telecommunications, tailored specifically for low-light vision tasks. It contains 30,976 images, amounting to 15,488 image pairs, and was primarily captured in extremely dark scenes. All images are strictly aligned both temporally and spatially. Pedestrians in the dataset have been annotated, making it suitable for tasks such as image fusion, pedestrian detection, and image-to-image translation. During data collection, a binocular camera was used, and the alignment between visible and infrared images was ensured through registration. The application scenarios of the LLVIP dataset include improving the performance of image fusion, pedestrian detection, and image translation algorithms under low-light conditions, as well as supporting research on multimodal image registration and domain adaptation.

搜集汇总

数据集介绍

构建方式

LLVIP数据集的构建方式是通过使用一个双目相机平台，该平台包含一个可见光相机和一个红外相机。通过在低光条件下拍摄包含大量行人和骑行者的图像，并在时间上进行同步和对齐，从而确保了图像对的时空一致性。随后，对这些图像对进行裁剪和注册，使得它们具有相同的视野和图像大小。为了解决低光行人检测中的图像标注难题，研究人员提出了使用红外图像对低光可见图像进行标注的方法。首先在红外图像上标注行人，然后利用图像对的时空一致性将标注复制到可见图像上。通过这种方式，LLVIP数据集包含了大量在低光条件下拍摄的图像，并对行人进行了标注。

特点

LLVIP数据集的特点在于其时空一致性、低光条件、大量标注行人以及高质量的图像。由于使用双目相机拍摄，数据集中的可见光和红外图像在时间和空间上是严格对齐的，这使得数据集非常适合图像融合和图像到图像的翻译任务。此外，数据集是在低光条件下拍摄的，红外图像为低光可见图像提供了丰富的补充信息，使其适用于研究图像融合和低光行人检测。LLVIP数据集中包含大量标注的行人，使得可见光和红外图像融合在行人检测中具有更明显的效果和意义。此外，数据集中的图像质量非常高，原始可见图像的分辨率为1920×1080，红外图像的分辨率为1280×720，与其他数据集相比，LLVIP是一个高质量的可见光和红外图像配对数据集。

使用方法

LLVIP数据集的使用方法包括图像融合、低光行人检测、图像到图像的翻译以及其他任务，如多模态图像注册和领域适应。对于图像融合任务，数据集可以用于评估不同融合算法的性能，并找出现有融合方法的不足之处。对于低光行人检测任务，数据集可以用于训练和评估行人检测算法，以提高在低光条件下的检测性能。对于图像到图像的翻译任务，数据集可以用于训练图像到图像的翻译模型，以生成更高质量的红外图像。此外，数据集还可以用于多模态图像注册和领域适应研究，以探索不同模态图像之间的映射关系和领域适应方法。

背景与挑战

背景概述

在低光条件下，各种视觉任务，如图像融合、行人检测和图像到图像的转换，面临着由于有效目标区域丢失而带来的巨大挑战。为了解决这一问题，研究者们提出了将红外和可见光图像结合使用，以提供丰富的细节信息和有效的目标区域。为此，北京邮电大学的研究团队创建了LLVIP数据集，该数据集包含30976张图像，或15488对，大多数都是在非常暗的场景中拍摄的，并且所有图像都在时间和空间上严格对齐。该数据集的创建时间为2023年，由北京邮电大学的研究人员Xinyu Jia、Chuang Zhu、Minzhen Li、Wenqi Tang、Shengjie Liu和Wenli Zhou共同完成。LLVIP数据集的核心研究问题是低光视觉中的图像融合、行人检测和图像到图像的转换，其对于计算机视觉领域的图像融合、行人检测和图像到图像转换等任务具有重要的推动作用。

当前挑战

LLVIP数据集的创建旨在解决低光条件下图像融合、行人检测和图像到图像转换等视觉任务的挑战。具体挑战包括：1)低光条件下，图像融合算法难以捕捉可见光图像中的细节；2)低光行人检测中，图像标注困难，难以准确标记边界框；3)图像到图像转换算法在低光条件下的表现不佳。为了克服这些挑战，研究者们提出了使用红外图像辅助标注低光可见图像的方法，并在LLVIP数据集上评估了图像融合、行人检测和图像到图像转换等算法的性能。实验结果表明，LLVIP数据集对现有算法提出了巨大的挑战，促进了相关领域的研究和发展。

常用场景

经典使用场景

在低光视觉任务中，如图像融合、行人检测和图像到图像的转换，有效目标区域的缺失给各种视觉任务带来了挑战。LLVIP数据集提供了一个包含30976张图像（或15488对）的可见光-红外配对数据集，大部分图像都是在非常黑暗的场景下拍摄的，所有图像都在时间和空间上严格对齐。该数据集的行人被标记，使得研究人员可以轻松地进行图像融合、行人检测和图像到图像的转换等任务。LLVIP数据集的引入，为低光视觉任务的研究提供了丰富的数据资源，使得研究人员可以更好地理解和处理低光环境下的视觉问题。

实际应用

LLVIP数据集在实际应用中，可以用于图像融合、行人检测和图像到图像的转换等任务。例如，在图像融合中，LLVIP数据集可以帮助研究人员更好地理解和处理低光环境下的视觉问题，提高图像融合的效果。在行人检测中，LLVIP数据集可以帮助研究人员更准确地检测低光环境下的行人，提高行人检测的准确率。在图像到图像的转换中，LLVIP数据集可以帮助研究人员更有效地将可见光图像转换为红外图像，提高图像到图像转换的效果。

衍生相关工作

LLVIP数据集的引入，衍生了许多相关的研究工作。例如，研究人员使用LLVIP数据集进行图像融合、行人检测和图像到图像的转换等任务的研究，取得了很好的成果。此外，LLVIP数据集还激发了研究人员对低光视觉任务的兴趣，推动了低光视觉技术的发展。LLVIP数据集的引入，对于推动低光视觉任务的研究具有重要意义。