CORP

CORP是首个针对校园场景的多模态路边感知任务公共基准数据集，由中国科学技术大学人工智能研究所创建。该数据集包含超过205,000张图像和102,000个点云数据，通过18个摄像头和9个激光雷达传感器收集，旨在支持3D无缝跟踪和实例分割等任务。CORP数据集通过精确的标注，包括多维信息，如独特的ID和像素掩码，以增强对校园内分布的物体及其行为的理解。该数据集特别关注校园和其他居住区域的多模态感知挑战，为智能交通和自动驾驶技术的发展提供了宝贵的资源。

CORP is the first public benchmark dataset for multimodal roadside perception tasks in campus scenarios, created by the Institute of Artificial Intelligence at the University of Science and Technology of China. This dataset contains over 205,000 images and 102,000 point cloud samples, collected using 18 cameras and 9 LiDAR sensors, aiming to support tasks such as 3D seamless tracking and instance segmentation. The CORP dataset features precise annotations including multi-dimensional information such as unique IDs and pixel masks to enhance the understanding of distributed objects and their behaviors on campus. This dataset specifically focuses on the multimodal perception challenges in campus and other residential areas, providing a valuable resource for the development of intelligent transportation and autonomous driving technologies.

搜集汇总

数据集介绍

构建方式

CORP数据集是在一所大学校园内构建的，旨在填补现有路侧感知数据集对居民区（如校园和公园）关注的不足。数据采集依托18个摄像头和9个LiDAR传感器，这些传感器以不同的配置安装在路侧电线杆上，高度从2.5米到6.5米不等，覆盖了校园内三个不同区域（A、B、C），每个区域根据传感器数量和场景复杂度进行了差异化布局。最终收集了超过20.5万张图像和10.2万个点云帧，并经过严格的时间同步和标定流程，包括LiDAR与摄像头的内参和外参校准，以确保多模态数据的一致性和准确性。

特点

CORP数据集具有鲜明的校园场景特色，与城市主干道数据集相比，其目标分布更为稀疏但背景复杂，包含高密度的行人和骑行者、密集的建筑群、茂密的植被以及狭窄多弯的道路。数据集提供了多维标注信息，除了2D和3D边界框外，还包含唯一ID用于跨设备无缝追踪，以及像素级掩码用于移动实例分割。此外，数据覆盖了白天、黄昏和夜晚等多种光照条件，并包含红外图像，为算法在多样化环境下的鲁棒性评估提供了独特挑战。

使用方法

CORP数据集支持多种路侧感知任务，包括2D和3D目标检测、跨设备多目标追踪以及移动目标像素分割。研究者可使用提供的开发工具包进行数据可视化、模型训练和评估。对于检测任务，可采用YOLO系列（如YOLO-v5和YOLO-v8）或PointPillars等基线方法；追踪任务可基于检测结果使用AB3D等算法；分割任务则可借鉴RiWNet+等模型。此外，数据集还提供了无学习的距离估计基线方法P3D，适用于摄像头到目标的距离预测。所有数据均以DAIR-V2X格式提供，便于与现有算法集成。

背景与挑战

背景概述

CORP数据集由合肥综合性国家科学中心人工智能研究院与中国科学技术大学的研究人员于2024年联合创建，是首个专门面向校园场景的多模态路侧感知基准数据集。该数据集聚焦于城市主干道之外、常被忽视的居住区域（如校园和公园）的感知任务，核心研究问题在于应对这些区域中高密度行人及非机动车流、复杂建筑布局与茂密植被交织、以及缺乏交通规则约束等独特挑战。CORP包含超过20.5万张图像与10.2万帧点云数据，由18个摄像头和9个激光雷达传感器在校园内不同高度和位置采集，并提供了2D/3D边界框、像素级分割掩码及跨设备跟踪ID等多维标注。该数据集填补了路侧感知在非城市交通场景的空白，为算法在多样化环境中的泛化能力与鲁棒性评估提供了关键平台。

当前挑战

CORP数据集所解决的领域问题核心是校园及类似居住区路侧感知的复杂性：与城市道路以机动车流为主不同，校园场景中行人与骑行者密度显著更高，且建筑物密集、植被茂盛、路径狭窄多弯，加之缺乏交通信号与规则约束，导致目标轨迹与行为模式分析极具挑战。在构建过程中，数据集面临多重困难：首先，传感器部署需适应校园复杂环境，18个摄像头与9个激光雷达以不同配置安装在2.5至6.5米高的立杆上，需确保多视角覆盖并解决遮挡与光照变化问题；其次，数据标注需兼顾2D/3D边界框、像素级分割掩码及跨设备唯一ID，对移动目标的高精度标注要求极高；此外，多模态数据的时间同步（摄像头20Hz与激光雷达10Hz）及坐标系统校准（涉及相机-自车、激光雷达-自车、激光雷达-基座与地图四种坐标系）也构成了技术难点。

常用场景

经典使用场景

CORP数据集专为校园场景下的多模态路侧感知任务而设计，其经典使用场景涵盖基于图像与点云的二维与三维目标检测、跨设备的无缝多目标跟踪，以及运动目标的像素级实例分割。该数据集依托18个摄像头与9个激光雷达的异构传感器阵列，在校园道路、建筑群间及植被茂密区域采集了超过20万帧图像与10万帧点云，为算法在非结构化、高动态的居住区环境中提供训练与评估的基准平台。

衍生相关工作

CORP数据集已衍生出多项经典工作，包括基于YOLO-v5与YOLO-v8的二维检测基线、采用PointPillars与BEVFusion的三维检测评估，以及针对运动分割的RiWNet+方法。此外，该数据集还催生了无学习距离估计方法Pseudo-3D（P3D），其通过针孔相机模型与地面平面假设实现目标测距，为后续研究提供了鲁棒的对比基准。这些工作共同推动了校园及居住区路侧感知技术的系统化发展。

数据集最近研究

最新研究方向

CORP数据集聚焦于校园及类似居住区场景下的多模态路侧感知任务，填补了现有数据集多集中于城市主干道的空白。其前沿研究方向包括：在复杂自然与人文环境中（如密集植被、狭窄路径、缺乏交通规则）实现鲁棒的2D/3D目标检测、跨设备无缝跟踪以及运动目标像素级分割。该数据集通过部署18个摄像头和9个激光雷达，采集了超过20万张图像与10万帧点云，并提供了独特的像素掩码与跨设备ID标注，为研究算法在稀疏目标、光照变化及遮挡条件下的泛化能力提供了关键平台。这一工作响应了自动驾驶与智能交通系统向非结构化区域扩展的迫切需求，对推动路侧感知技术在智慧校园、公共公园等场景中的实际部署具有重要价值。

相关研究论文

• CORP: A Multi-Modal Dataset for Campus-Oriented Roadside Perception Tasks

  中国科学技术大学人工智能研究所 · 2024年