LISA Vehicle Lights Dataset

LISA Vehicle Lights Dataset是由加州大学圣地亚哥分校创建的一个专门用于自动驾驶领域中车辆灯光检测的数据集。该数据集包含44,784张图像，每张图像都标注了车辆灯光的中心坐标和四个角点的坐标，适用于车辆检测、意图和轨迹预测以及安全路径规划等下游应用。数据集的创建过程涉及从ApolloCar3D数据集中筛选出包含可见灯光的车辆实例，并进行详细的标注。该数据集的应用领域主要集中在自动驾驶技术中，旨在通过精确的灯光检测提高夜间车辆检测、3D车辆方向估计和动态轨迹提示的准确性。The LISA Vehicle Lights Dataset is a specialized dataset designed for vehicle light detection in the autonomous driving domain, developed by the University of California, San Diego. It consists of 44,784 images, with each image annotated with the central coordinates and the coordinates of the four corner points of vehicle lights, making it suitable for downstream applications including vehicle detection, intent prediction, trajectory prediction and safe path planning. The dataset was created by screening vehicle instances with visible lights from the ApolloCar3D dataset and conducting detailed annotations. Its application is primarily concentrated in autonomous driving technology, with the goal of enhancing the accuracy of nighttime vehicle detection, 3D vehicle orientation estimation and dynamic trajectory prompting via precise light detection.

搜集汇总

数据集介绍

构建方式

LISA Vehicle Lights Dataset的构建基于ApolloCar3D数据集，通过筛选和扩展注释来创建。首先，从ApolloCar3D数据集中筛选出所有可见的前后车灯的关键点注释，这些注释提供了车辆灯光四个角落的$(x, y)$坐标。接着，为了使车辆灯光信息更加集中，将全图交通场景图像裁剪为仅关注车辆的区域。之后，创建了一个128× 128的裁剪图像，将车灯中心坐标置于图像中心。为了提供更多的交通场景上下文，还采用了另一种裁剪方法，即将车灯中心置于图像中心，但包括整个交通场景的图像内容。最后，为每个车灯注释了“角落”目标，并计算了车灯角落与车灯中心坐标之间的偏移量。此外，还进行了数据增强，通过对裁剪的车辆灯光图像进行水平翻转，将数据集大小翻倍。为了确定车辆灯光的可见性，构建了一组卷积神经网络来预测每个车灯组件的可见性。

特点

LISA Vehicle Lights Dataset的特点包括：1. 数据集包含了大量的车辆灯光实例，提供了丰富的车辆灯光形状和方向，以及不同的光照条件。2. 数据集采用了两种裁剪方法，一种是仅包含车辆的上下文，另一种是包含整个交通场景的上下文，为下游模型提供了更多的选择。3. 数据集为每个车灯注释了“角落”目标，并提供了车灯可见性的预测模型。4. 数据集进行了数据增强，提高了数据集的大小和多样性。

使用方法

使用LISA Vehicle Lights Dataset时，首先需要根据任务需求选择合适的裁剪方法。然后，可以使用数据集中的车辆灯光图像和注释进行模型训练和评估。在训练过程中，可以使用数据集中的车灯可见性预测模型来帮助模型学习可见性信息。此外，还可以利用数据集中的“角落”目标来进行车辆灯光检测和跟踪任务。

背景与挑战

背景概述

在计算机视觉领域，车辆灯光的检测与识别对于自动驾驶技术至关重要。LISA Vehicle Lights Dataset（LISA车辆灯光数据集）由Ross Greer等人于2023年7月26日发布，旨在解决自动驾驶中车辆灯光检测的复杂性。该数据集扩展了ApolloCar3D数据集，专门针对车辆检测、意图和轨迹预测以及安全路径规划等下游应用进行设计。数据集提供了丰富的车辆灯光信息，包括灯光的位置、大小、颜色和状态，为训练有效的检测模型提供了重要的基础。LISA Vehicle Lights Dataset的引入，不仅为自动驾驶领域的研究提供了新的数据资源，也为理解车辆灯光的表示和准确标注的重要性提供了新的视角。

当前挑战

LISA Vehicle Lights Dataset面临的主要挑战包括：1)在夜间低光条件下，车辆检测变得困难，因为车辆本身可能无法被摄像头识别，而只能依靠车辆的前灯或尾灯来推断车辆的位置；2)在数据集构建过程中，如何有效地收集和标注大量的数据是一个挑战，因为这些数据需要手动标注，且需要考虑时间变化的属性；3)如何准确地表示车辆灯光也是一个挑战，因为不同的应用可能需要不同的表示方式，如边界框、中心点、角点或分割掩码。此外，由于灯光可能会被遮挡或位于画面之外，因此系统在训练和推理过程中需要具有一定的理解能力，以确保训练约束和对象估计的合理性。

常用场景

经典使用场景

LISA Vehicle Lights Dataset 是一个专门用于自动驾驶场景下车辆灯光检测的数据集。该数据集通过提供车辆灯光的各种表示形式，如边界框、中心点、角点分割和像素级分割，为自动驾驶中的夜间车辆检测、3D车辆方向估计和动态轨迹提示等任务提供了数据支持。数据集中的灯光表示形式可以根据不同任务的需求进行选择，从而为自动驾驶系统提供更为准确和全面的感知信息。

衍生相关工作

LISA Vehicle Lights Dataset 衍生了一些相关的经典工作。例如，基于该数据集，研究人员可以开发出更为准确的车辆灯光检测模型，从而提高自动驾驶系统的感知能力。此外，数据集中的灯光可见性模型也为自动驾驶系统提供了判断车辆灯光是否可见的方法，从而避免了错误检测。这些研究成果对于自动驾驶技术的发展具有重要意义。

数据集最近研究

最新研究方向

LISA Vehicle Lights Dataset通过提供专门为车辆检测、意图和轨迹预测以及安全路径规划等下游应用设计的灯光注释，为自动驾驶领域带来了新的研究视角。该数据集在车辆灯光表示方面进行了深入研究，探讨了不同表示方法（如边界框、中心点、角点和分割掩码）的优缺点。同时，该研究还讨论了收集和注释大型数据集以训练数据驱动模型的挑战，并提出了LISA Vehicle Lights Dataset和相关的Light Visibility Model。这些模型为自动驾驶应用中的车辆检测、意图和轨迹预测以及安全路径规划等任务提供了重要的数据支持。

相关研究论文

• Patterns of Vehicle Lights: Addressing Complexities in Curation and Annotation of Camera-Based Vehicle Light Datasets and Metrics

  加州大学圣地亚哥分校 · 2023年