IPS300+

IPS300+是由清华大学创建的一个高质量多模态数据集，专注于城市交叉口感知任务。该数据集包含14198帧数据，每帧平均有319.84个标签，数据来源于安装在交叉口的对角线上的IPS（交叉口感知系统）。创建过程中，使用了特殊的80层Lidar和双5.44MP彩色摄像头，以及GPS进行定位和时间同步。该数据集主要应用于CVIS（合作车辆基础设施系统）中的3D目标检测，旨在解决城市交叉口复杂环境下的感知问题。

IPS300+ is a high-quality multimodal dataset created by Tsinghua University, focusing on urban intersection perception tasks. It contains 14,198 frames of data, with an average of 319.84 labels per frame. The dataset is sourced from IPS (Intersection Perception System) devices installed diagonally at urban intersections. During its development, specialized 80-layer LiDAR, dual 5.44MP color cameras, and GPS were employed for positioning and time synchronization. This dataset is primarily used for 3D object detection in CVIS (Cooperative Vehicle-Infrastructure System), aiming to resolve perception challenges in complex urban intersection environments.

搜集汇总

数据集介绍

构建方式

IPS300+数据集通过在北京市海淀区成府路与中关村东路交叉口安装的交叉感知系统（IPS）进行构建。该系统由两个交叉感知单元（IPU）组成，每个IPU配备了80层激光雷达、两个5.44MP彩色摄像头和一个GPS。激光雷达水平安装，摄像头以30°角向下倾斜，以获取交叉口的俯视图。数据采集过程中，通过GPS-PPS信号实现时间同步，并通过手动筛选特征点进行空间校准，确保不同IPU之间的点云数据能够准确对齐。数据集涵盖了14198帧，每帧平均包含319.84个标签，覆盖范围达到300米，为城市交叉口的多模态感知任务提供了丰富的数据支持。

特点

IPS300+数据集具有高密度标签和多模态数据的特点，每帧平均包含319.84个标签，是现有最拥挤数据集的9.6倍。数据集涵盖了点云和图像两种模态，点云数据在300米范围内保持可用性，且3D边界框标注频率达到5Hz，为3D目标检测任务提供了密集的真值数据。此外，数据集的标签文档与KITTI数据集保持一致，便于算法评估和比较。数据集的复杂性和遮挡问题使其成为研究城市交叉口感知的理想选择，尤其是在CVIS（合作车辆基础设施系统）场景下。

使用方法

IPS300+数据集可用于多种感知任务的研究，包括基于激光雷达和摄像头的3D目标检测、2D目标检测以及多目标跟踪。数据集提供了与KITTI数据集一致的标签文档，便于研究人员进行算法评估和基准测试。研究人员可以通过访问数据集的官方网站获取数据，并使用提供的校准文件进行传感器校准。数据集的结构设计灵活，支持多种数据处理方式，研究人员可以根据需求选择原始数据或经过预处理的点云数据进行实验。此外，数据集还提供了详细的统计信息和基准测试结果，帮助研究人员更好地理解和利用数据集。

背景与挑战

背景概述

IPS300+数据集由清华大学与北京万集科技股份有限公司合作开发，旨在解决城市交叉口复杂环境下的感知问题。该数据集于2020年发布，涵盖了一个典型的城市交叉口场景，面积达3000平方米，延伸距离达300米。IPS300+数据集通过安装在交叉口对角线上的IPS（Intersection Perception System）系统，收集了包括点云和图像在内的多模态数据，每帧平均包含319.84个标签，显著高于现有数据集。该数据集的发布填补了城市交叉口多模态感知数据集的空白，为研究协作式车辆基础设施系统（CVIS）提供了重要资源，推动了自动驾驶和智能交通系统的发展。

当前挑战

IPS300+数据集面临的主要挑战包括：1）在复杂且高度遮挡的城市交叉口场景中，如何实现精确的多模态数据融合与目标检测；2）数据集构建过程中，传感器的时间同步和空间校准问题，尤其是两个IPU（Intersection Perception Unit）之间的远距离点云配准；3）在密集交通流和高遮挡情况下，如何提高目标检测算法的鲁棒性和准确性。此外，该数据集还面临如何有效处理大量标签数据以及如何在不同距离下保持检测精度的挑战。这些问题为未来的研究提供了广阔的空间，尤其是在多模态融合和远距离感知方面。

常用场景

经典使用场景

IPS300+数据集的经典使用场景主要集中在城市交叉路口的多模态感知任务中。该数据集通过安装在交叉路口的IPS系统，收集了大量的点云和图像数据，涵盖了从车辆、行人到自行车等多种交通参与者的3D目标检测任务。其高密度的标注数据和多模态融合的特性，使得该数据集成为研究复杂城市交叉路口感知问题的理想选择。

实际应用

IPS300+数据集在实际应用中具有广泛的潜力，特别是在智能交通系统和自动驾驶领域。通过路侧单元收集的多模态数据，可以为自动驾驶车辆提供超越视觉范围的感知信息，帮助车辆在复杂的交叉路口场景中做出更安全的决策。此外，该数据集还可用于交通流量监控、碰撞预警系统的设计与优化，以及交通信号灯的动态调整，从而提升城市交通的整体效率和安全性。

衍生相关工作

IPS300+数据集的发布催生了一系列相关的经典工作，特别是在多模态感知和3D目标检测领域。基于该数据集的研究工作主要集中在点云和图像的融合、3D目标检测算法的优化以及多目标跟踪任务的实现。例如，PointPillars算法在该数据集上的应用展示了其在复杂城市交叉路口场景中的有效性。此外，该数据集还为单目3D检测、深度估计等前沿研究提供了新的挑战和机遇，推动了相关领域的技术进步。