TUMTraf-V2X

TUMTraf-V2X, a dataset for the cooperative 3D object detection and tracking task. Our dataset contains 2,000 labeled point clouds and 5,000 labeled images from five roadside and four onboard sensors. It includes 30k 3D boxes with track IDs and precise GPS and IMU data.

TUMTraf-V2X是一款面向协作式三维目标检测与跟踪任务的数据集。本数据集包含来自5个路边传感器与4个车载传感器的2000帧标注点云和5000张标注图像，涵盖3万个带有跟踪ID的三维标注框，以及精确的全球定位系统（GPS）和惯性测量单元（IMU）数据。

原始信息汇总

CoopDet3D: Deep Multi-Modal Cooperative 3D Object Detection of Traffic Participants Using Onboard and Roadside Sensors

数据集概述

数据集名称

• TUMTraf-V2X Cooperative Perception Dataset

数据集内容

• 包含2,000个标记的点云和5,000个标记的图像
• 来自五个路边和四个车载传感器
• 包含30,000个带有跟踪ID的3D框
• 精确的GPS和IMU数据
• 标记了九个类别
• 覆盖了遮挡场景和挑战性驾驶操作，如交通违规、近距离事件、超车和U型转弯

数据集版本

• TUMTraf-V2X
• TUMTraf-V2X-mini (半数于完整数据集)

数据集下载

• TUMTraf-V2X
• TUMTraf-V2X-mini

数据集使用

• 支持车辆专用、基础设施专用和协作模式
• 支持仅相机、仅激光雷达和相机-激光雷达融合
• 支持多种相机和激光雷达骨干网络
• 支持离线、ROS和共享内存操作
• 导出推理结果到OpenLABEL格式

预训练权重

• 可从此处下载
• 权重命名遵循特定格式，如coopdet3d_[v/i/vi]_[c/l/cl]_<LiDAR_backbone>_<camera_backbone>_<other_information>.pth

训练与评估

• 提供详细的训练和评估命令，支持不同的模型配置和数据集
• 评估包括3D mAP和BEV mAP，需使用特定的评估脚本

数据准备

• 提供数据准备脚本，用于将原始数据转换为训练和验证集

可视化

• 提供可视化工具，用于展示预测和真实标签的对比

运行环境

• 支持Docker和非Docker环境下的运行
• 需要特定的软件库和版本支持

搜集汇总

数据集介绍

构建方式

TUMTraf-V2X数据集的构建依托于多模态协同感知技术，通过融合车载传感器与路侧传感器的数据，实现了对交通参与者的三维目标检测与跟踪。该数据集包含了来自五个路侧传感器和四个车载传感器的2000个标注点云和5000张标注图像，涵盖了30,000个带有轨迹ID的三维边界框，并配备了精确的GPS和IMU数据。数据标注工具3D BAT的使用确保了标注的准确性，数据集特别关注了交通违规、近距离事件、超车和掉头等复杂驾驶场景。

特点

TUMTraf-V2X数据集的特点在于其多模态协同感知能力，支持车载、路侧以及协同模式下的数据融合。数据集提供了相机、LiDAR以及相机-LiDAR融合的多种数据形式，并支持多种深度学习模型架构，如SwinT、YOLOv8、VoxelNet和PointPillars。此外，数据集还支持离线、ROS和共享内存操作，能够满足不同研究需求。数据集中的复杂场景和多样化的交通行为为自动驾驶系统的开发提供了丰富的训练和测试素材。

使用方法

使用TUMTraf-V2X数据集时，用户可以通过Docker环境快速搭建开发环境，确保依赖库的兼容性。数据集提供了详细的数据准备脚本，用户可以通过运行这些脚本将原始数据转换为模型训练所需的格式。训练过程中，用户可以选择不同的模型架构和预训练权重进行实验，并通过内置的评估工具对模型性能进行验证。数据集还支持将推理结果导出为OpenLABEL格式，便于后续的检测结果可视化和评估。

背景与挑战

背景概述

TUMTraf-V2X数据集由慕尼黑工业大学（TUM）的研究团队于2024年发布，旨在推动自动驾驶领域的协同感知技术发展。该数据集的核心研究问题是通过车载传感器与路边传感器的多模态融合，提升自动驾驶车辆的环境感知能力与道路安全性。数据集包含2000个标注的点云和5000张标注的图像，涵盖了九种交通参与者类别，并提供了精确的GPS和IMU数据。TUMTraf-V2X的发布为协同3D目标检测与跟踪任务提供了重要的基准数据，推动了自动驾驶技术在多传感器融合方向的研究进展。

当前挑战

TUMTraf-V2X数据集在解决协同感知问题时面临多重挑战。首先，多模态数据的融合需要处理来自不同传感器的异构数据，如何有效整合车载与路边传感器的信息以提升检测精度是一个关键难题。其次，数据集中包含的复杂交通场景，如交通违规、近距离事件、超车和掉头等，增加了目标检测与跟踪的难度。此外，数据标注的精确性与一致性对模型的训练至关重要，如何在大量数据中确保标注质量也是一个重要挑战。构建过程中，研究团队还需克服传感器数据同步、数据存储与处理效率等技术难题，以确保数据集的可靠性与实用性。

常用场景

经典使用场景

TUMTraf-V2X数据集在自动驾驶和智能交通系统领域具有广泛的应用，特别是在多模态协同感知任务中。该数据集通过结合车载传感器和路边传感器的数据，提供了丰富的3D点云和图像标注，支持车辆、基础设施以及协同模式下的目标检测与跟踪。其经典使用场景包括复杂交通环境下的目标检测、交通违规行为识别、以及近距事件和超车行为的分析。

解决学术问题

TUMTraf-V2X数据集解决了自动驾驶领域中多模态数据融合的难题，特别是在3D目标检测和跟踪任务中。通过提供精确的GPS和IMU数据，以及涵盖多种交通场景的标注数据，该数据集显著提升了模型的感知能力。实验表明，基于该数据集的CoopDet3D模型在3D mAP指标上比单一车载传感器模型提升了14.36，为学术界提供了可靠的研究基础。

衍生相关工作

TUMTraf-V2X数据集催生了多项相关研究工作，特别是在多模态协同感知和3D目标检测领域。基于该数据集，研究者们提出了多种改进的融合模型和算法，如CoopDet3D模型及其变体。此外，该数据集还推动了开源工具和开发套件的普及，如3D-BAT标注工具和TUM Traffic开发套件，进一步促进了学术界和工业界的合作与创新。