DTLD and NTLD

本文使用了两个真实世界的数据集DTLD和NTLD来评估提出的ViTLR算法以及其他主流的TLR方法。DTLD数据集包含来自11个最大城市的交通灯视频剪辑，而NTLD数据集则涵盖了更广泛的环境和交通灯状态。这两个数据集为交通灯检测和状态分类提供了丰富的训练和测试数据。

In this study, two real-world datasets, DTLD and NTLD, are utilized to evaluate the proposed ViTLR algorithm and other mainstream traffic light recognition (TLR) methods. The DTLD dataset contains traffic light video clips from 11 largest cities, while the NTLD dataset covers a broader range of environments and traffic light states. These two datasets provide abundant training and test data for traffic light detection and state classification.

搜集汇总

数据集介绍

构建方式

DTLD和NTLD数据集是为自动驾驶领域的交通灯识别任务而构建的。DTLD数据集采集自德国11个主要城市，包含2110个视频片段，帧率为15Hz，每帧分辨率为2048×1024像素，共计标注超过290,000个交通灯。NTLD数据集则采集自中国4个大都市，包含5000个视频片段，帧率同样为15Hz，每帧分辨率为1920×1080像素，标注超过500,000个交通灯。两个数据集均按70%、10%和20%的比例划分为训练集、验证集和测试集，以确保模型训练和评估的科学性。

特点

DTLD和NTLD数据集具有显著的特点。首先，它们均基于真实驾驶场景采集，覆盖了多样化的城市环境和复杂的交通条件，包括不同光照、遮挡和距离变化等挑战。其次，数据集标注详尽，不仅包含交通灯的位置信息，还标注了其状态（如红、黄、绿等），为多任务学习提供了丰富的数据支持。此外，数据集的规模庞大且分布合理，能够有效支持深度学习模型的训练和验证。

使用方法

DTLD和NTLD数据集的使用方法主要包括数据加载、预处理和模型训练。用户可以通过提供的视频片段和标注文件加载数据，并进行帧提取和标注解析。预处理阶段通常包括图像增强、归一化和多帧时序对齐等操作，以提升模型输入的质量。在模型训练中，数据集支持端到端的交通灯检测和状态分类任务，用户可基于ViTLR等先进架构进行实验，并通过mAP、F1分数和FPS等指标评估模型性能。数据集还支持与高精地图结合，进一步提升自动驾驶系统的实用性。

背景与挑战

背景概述

DTLD（DriveU Traffic Light Dataset）和NTLD（NavInfo Traffic Light Dataset）是两个专注于交通灯识别的真实世界数据集，旨在推动自动驾驶领域的技术发展。DTLD由德国多个城市采集，包含超过290,000个标注的交通灯，而NTLD则由中国四大都市的数据构成，标注了超过500,000个交通灯。这两个数据集由NavInfo Co. Ltd.、Baidu Inc.等机构的专家团队共同构建，主要用于解决自动驾驶中实时交通灯检测与状态分类的核心问题。其高分辨率的视频数据和丰富的标注信息为算法开发提供了坚实基础，显著提升了交通灯识别在复杂环境下的鲁棒性。

当前挑战

交通灯识别领域的主要挑战包括复杂环境下的遮挡、光照变化以及远距离目标的检测精度问题。DTLD和NTLD在构建过程中面临数据标注的一致性难题，尤其是在多帧视频中保持标注的时空连续性。此外，数据集的多样性要求覆盖不同天气、光照和交通场景，这对数据采集和标注提出了极高要求。在算法层面，如何利用时序信息提升检测稳定性，以及如何在嵌入式平台（如Rockchip RV1126）上实现实时推理，均是亟待解决的技术难点。

常用场景

经典使用场景

DTLD和NTLD数据集在自动驾驶领域中的交通信号灯识别研究中扮演着关键角色。这些数据集通过提供大量真实场景下的交通信号灯视频片段和详细标注，为研究者提供了丰富的训练和测试资源。特别是在复杂城市环境中，这些数据集能够帮助模型学习如何处理遮挡、光线变化和远距离目标等挑战。

解决学术问题

DTLD和NTLD数据集解决了自动驾驶研究中交通信号灯识别的多个核心问题。首先，它们提供了多帧连续视频数据，使得研究者能够开发基于时序信息的模型，显著提升了识别精度和鲁棒性。其次，数据集中包含的各种复杂场景（如遮挡、光线变化等）有助于开发更具泛化能力的算法。最重要的是，这些数据集支持嵌入式平台上的实时性能研究，填补了理论研究与实际应用之间的鸿沟。

衍生相关工作

DTLD和NTLD数据集催生了一系列重要的研究工作。例如，ViTLR模型就是基于这些数据集开发的，它创新性地采用了视频输入和卷积自注意力机制。此外，这些数据集还支持了多种交通信号灯识别算法的比较研究，包括单阶段方法（如YOLO、DETR）和双阶段方法（如R-CNN）。这些工作不仅推动了算法性能的提升，也为嵌入式部署提供了宝贵经验。