TLD

TLD（TailLight Dataset）是一个大规模的车辆尾灯信号数据集，由全球范围内的驾驶视频收集而成，涵盖了多种交通场景。该数据集包含152,690个标注图像帧，采样率为2 Hz，并包含150万个未标注帧。数据集的创建过程包括从互联网收集视频，使用YOLOv10和DeepSORT进行车辆检测，并通过两阶段分类器确定刹车灯和转向灯的状态。TLD数据集的应用领域主要集中在自动驾驶系统中，旨在通过准确识别车辆尾灯信号来预测车辆行为，从而提高驾驶安全性。

TLD (TailLight Dataset) is a large-scale vehicle taillight signal dataset collected from driving videos worldwide, covering diverse traffic scenarios. It contains 152,690 annotated image frames with a sampling rate of 2 Hz, as well as 1.5 million unannotated frames. The dataset creation process includes collecting videos from the Internet, conducting vehicle detection with YOLOv10 and DeepSORT, and determining the activation states of brake lights and turn signals using a two-stage classifier. The primary application of the TLD dataset lies in autonomous driving systems, where it aims to predict vehicle maneuvers by accurately recognizing vehicle taillight signals, thereby enhancing driving safety.

搜集汇总

数据集介绍

构建方式

TLD数据集的构建方式独具匠心，旨在填补现有自动驾驶系统中对车辆尾灯信号理解的不足。该数据集涵盖了从互联网上收集的17.78小时驾驶视频，包括152k个标注图像帧和150万张未标注图像帧，采样率为2 Hz。为了确保数据集的多样性和实用性，研究人员从全球范围内选取了21个驾驶视频，这些视频覆盖了不同的驾驶场景，包括白天和夜晚、各种天气条件、拥堵的城市场景和郊区高速公路。此外，研究人员还从LOKI数据集中添加了额外的标注，以提供更丰富的场景信息和更全面的尾灯状态信息。

特点

TLD数据集的特点在于其规模庞大、标注精细和场景丰富。首先，该数据集是目前为止第一个在真实驾驶场景中分别标注刹车灯和转向灯状态的大型公开数据集。其次，数据集包含了足够数量的具有挑战性的样本，这些样本涵盖了不同的光照条件、天气场景、观察角度和车辆类型，为训练和评估深度学习模型提供了强大的支持。此外，TLD数据集还提供了足够多的未标注图像，这些图像可用于半监督学习，帮助模型提高泛化能力和性能。

使用方法

TLD数据集的使用方法主要包括两个步骤：车辆检测和尾灯状态分类。首先，使用YOLOv10和DeepSort算法对驾驶场景中的车辆进行检测和跟踪，获取车辆的感兴趣区域（ROI）。然后，将ROI输入到两个并行工作的尾灯状态分类器中，分别对刹车灯和转向灯的状态进行分类。最后，通过后处理模块对分类结果进行时间序列分析，以消除误识别并确定车辆在给定时间段内的尾灯状态。该数据集的使用有助于提高自动驾驶系统对周围车辆驾驶意图的理解，从而实现更安全、更可靠的驾驶。

背景与挑战

背景概述

在自动驾驶技术飞速发展的今天，准确理解其他驾驶者的意图对于安全驾驶至关重要。尾灯在传递这些意图方面扮演着不可或缺的角色，然而在当前的自动驾驶系统中，这一角色的作用并未得到足够的重视。为了提高自动驾驶系统的安全性，准确识别尾灯信号对于预测车辆行为和防止碰撞至关重要。然而，目前开源的尾灯数据集稀缺，通常规模较小且标注不一致。为了填补这一空白，我们介绍了一个名为TLD的大型尾灯数据集。TLD是全球范围内收集的，覆盖了多样化的交通场景。据我们所知，TLD是第一个在真实驾驶场景中分别标注刹车灯和转向灯的数据集。我们收集了17.78小时的驾驶视频，该数据集包含152k个标注图像帧，采样率为2 Hz，以及150万个未标注的帧。此外，我们还开发了一个两阶段的车辆灯光检测模型，包括车辆检测器和尾灯分类器。我们的方法在数据集上表现出色，为车辆尾灯检测提供了一个基准。

当前挑战

TLD数据集面临的挑战包括：1) 变化的光照条件：在白天，车辆上的红色尾灯罩可能会反射阳光，使得尾灯看起来像是亮着的。在夜间，各种光源，如路灯和对向来车的前灯，可能会干扰尾灯的检测。此外，某些光照条件可能会引入成像噪声，包括强烈的反射、光晕和阴影。2) 随机观察角度的遮挡：在交通拥堵的场景中，如等待红灯时，观察角度的随机性可能导致车辆之间的部分遮挡，难以准确判断尾灯状态。3) 非统一的尾灯形状和灯光形式：由于汽车制造商之间缺乏统一的标准，不同车辆的尾灯形状存在显著差异，包括汽车、货车、卡车和公共汽车。此外，一些现代尾灯设计，如顺序照亮的条形灯，对检测提出了额外的挑战。4) 早晚不同的尾灯状态：车辆通常在白天关闭灯光，但在夜间打开侧灯。由于侧灯靠近刹车灯，夜间检测刹车灯变得更加困难，使得高位的刹车灯成为更好的检测选择。5) 时间序列问题：转向灯通常会闪烁以指示激活，因此确定转向灯状态需要考虑当前帧和之前的时间序列状态。时间序列的整体状态变化最终决定了转向灯的状态。

常用场景

经典使用场景

TLD数据集在自动驾驶领域扮演着至关重要的角色，特别是在理解其他驾驶者的意图方面。它包含大量真实驾驶场景下的车辆尾灯信号数据，为自动驾驶系统提供了宝贵的信息来源。通过准确识别尾灯信号，自动驾驶系统可以预测车辆的行为，从而预防碰撞，提高驾驶安全性。

衍生相关工作

TLD数据集的引入推动了车辆尾灯检测领域的研究进展。基于TLD数据集，研究人员可以开发更精确、更实时的尾灯检测算法，从而提高自动驾驶系统的性能和可靠性。此外，TLD数据集还可以用于其他相关领域的研究，例如交通场景理解、多车交互等，为智能交通系统的发展提供支持。

数据集最近研究

最新研究方向

TLD数据集的推出标志着车辆尾灯信号识别领域的重要进展。该数据集不仅规模庞大，而且包含了全球范围内的多样化交通场景，为自动驾驶系统提供了宝贵的训练和评估资源。TLD数据集的特色在于对刹车灯和转向灯进行了独立标注，这在现有数据集中尚属首次，有助于自动驾驶系统更准确地预测其他车辆的行驶意图。此外，该数据集还包含了大量未标注的帧，为半监督学习提供了可能，有助于提高模型的泛化能力和性能。基于TLD数据集，研究者们可以进一步探索车辆尾灯信号识别的算法优化、时间序列分析以及与其他车辆意图预测任务的多任务学习等前沿研究方向。

相关研究论文

• TLD: A Vehicle Tail Light signal Dataset and Benchmark

  中国 · 2024年