BAAI-VANJEE路边数据集

BAAI-VANJEE路边数据集是由北京人工智能研究院和万集科技共同创建，旨在支持中国复杂环境下的连接自动车辆高速公路技术研究。该数据集包含2500帧激光雷达数据和5000帧RGB图像，涵盖12类道路对象，具有74K 3D对象标注和105K 2D对象标注。数据集的创建过程涉及在城市交叉口和高速公路上部署智能基站，收集不同天气和交通条件下的数据。BAAI-VANJEE路边数据集的应用领域主要集中在智能交通系统，特别是在大数据时代加速学术和工业界的创新研究和成果转化。BAAI-VANJEE Roadside Dataset was co-developed by Beijing Academy of Artificial Intelligence (BAAI) and Wanji Technology, aiming to support research on connected automated vehicle highway technologies in complex environments in China. This dataset contains 2500 frames of LiDAR data and 5000 frames of RGB images, covering 12 categories of road objects, with 74K 3D object annotations and 105K 2D object annotations. The creation of this dataset involved deploying intelligent base stations at urban intersections and highways to collect data under diverse weather and traffic conditions. The BAAI-VANJEE Roadside Dataset is primarily applied in intelligent transportation systems, specifically to accelerate innovative research and the translation of research outcomes between academia and industry in the era of big data.

搜集汇总

数据集介绍

构建方式

在智能交通系统与车路协同技术蓬勃发展的背景下，BAAI-VANJEE路边数据集的构建采用了严谨的实地采集策略。数据采集平台为部署于中国城市交叉口与高速公路旁、距地面约4.5米高的万集智能基站，其上集成了一台32线旋转激光雷达与四台网络摄像头。采集过程覆盖了晴、阴、雨等多种天气条件以及昼夜不同时段，确保了场景的多样性与真实性。从超过一千小时的原始视频流中，研究团队依据视频质量、场景多样性与信息安全标准进行了精细化筛选，最终保留了2500帧激光雷达点云数据与5000帧RGB图像，其中20%为同步采集的多模态数据。所有数据均经过人工细致标注，确保了标注的高质量与完整性。

特点

该数据集的核心特点在于其独特的“上帝视角”与高度复杂的真实世界场景。相较于以车载视角为主的现有数据集，BAAI-VANJEE提供了从路侧高位传感器获取的感知数据，显著扩展了感知范围，尤其在20米以外的中远距离物体标注数量上远超KITTI等基准数据集，体现了路侧感知的超视距优势。数据集包含了行人、自行车、摩托车、三轮车、小汽车、货车等12类常见交通参与者，共计提供7.4万个精细的3D边界框标注与10.5万个2D标注。其样本在天气、光照与交通密度上分布广泛，涵盖了晴朗、多云、夜间及雨天等多种挑战性环境，为算法在复杂条件下的鲁棒性评估提供了坚实基础。

使用方法

该数据集主要服务于车路协同系统中的关键计算机视觉任务研究与应用。研究者可利用其进行2D目标检测、3D目标检测以及激光雷达与摄像头数据的多传感器融合算法开发与性能评测。数据集已划分为训练集与验证集，其中验证集精心包含了不同天气与光照条件的帧序列，以支持全面的模型评估。使用时可分别加载点云数据与图像数据，并利用提供的详细标注文件进行模型训练或测试。实验表明，基于此数据集训练的3D目标检测模型在汽车、自行车、行人等常见类别上，相较于在通用数据集上训练的模型展现出更优的性能，凸显了其对于路侧感知任务的专业适配性。数据集已公开在线提供，便于学术界与工业界推动智能交通领域的创新研究。

背景与挑战

背景概述

随着车路协同自动驾驶技术在智能交通领域的兴起，路边感知系统作为其核心组成部分，对高质量、多样化的真实世界数据集提出了迫切需求。在此背景下，北京智源人工智能研究院与万集科技于2021年联合发布了BAAI-VANJEE路边数据集，旨在推动中国复杂环境下的车路协同技术发展。该数据集聚焦于从路边视角（约4.5米高）采集的激光雷达与RGB图像数据，涵盖城市交叉口与高速公路场景，包含2500帧激光雷达点云与5000帧图像，并提供了12类交通参与者的详尽2D/3D标注。其核心研究问题在于解决现有车载数据集在视角、覆盖范围与环境多样性上的局限，通过提供“上帝视角”的感知数据，为多传感器融合、远距离目标检测等关键任务奠定基础，对学术界与工业界在智能交通领域的算法研发与成果转化产生了积极影响。

当前挑战

BAAI-VANJEE数据集致力于解决车路协同系统中路边感知所面临的独特挑战，主要包括从固定高点视角进行远距离、大范围目标检测的难题，以及复杂城市环境中多类交通参与者（如三轮车等中国特色车辆）的精准识别。在构建过程中，研究团队面临多重挑战：数据采集需在多样天气（晴、雨、夜）与交通流条件下进行，确保场景的真实性与复杂性；标注工作因目标密集、遮挡严重而极为耗时，需人工精细标注以降低漏标率；同时，数据筛选需兼顾质量、多样性与信息安全，从海量原始视频中选取具有研究价值的片段。这些挑战共同塑造了数据集的独特价值，使其成为推动路边感知技术发展的重要资源。

常用场景

经典使用场景

在智能交通系统与车路协同技术领域，BAAI-VANJEE路边数据集为计算机视觉任务提供了关键基准。该数据集通过部署于4.5米高路侧的智能基站，采集了涵盖复杂城市交叉口与高速公路场景的激光雷达与RGB图像数据，其经典使用场景集中于2D/3D目标检测与多传感器融合算法的训练与评估。凭借上帝视角下的高质量标注与多样化的天气、交通条件，该数据集能够有效模拟真实世界中的感知挑战，为车路协同系统的感知模块开发提供了标准化测试平台。

解决学术问题

该数据集主要解决了车路协同环境下路边感知的若干核心学术问题。传统基于车载传感器的数据集受限于视角与遮挡，难以覆盖远距离与密集交通场景。BAAI-VANJEE通过提供高架、广覆盖的路边感知数据，有效应对了远距离目标检测、复杂遮挡处理以及多传感器时空对齐等难题。其丰富的标注类别与多样环境样本，促进了针对中国特有交通参与者（如三轮车）的检测算法研究，弥补了现有数据集中在路边视角下的不足。

衍生相关工作

围绕BAAI-VANJEE数据集，已衍生出一系列专注于路边感知的经典研究工作。这些工作主要集中在适应路边视角的3D目标检测网络架构创新、激光雷达与相机数据的跨模态融合方法，以及针对复杂天气条件的鲁棒性感知模型。数据集的出现也激发了对于车路协同专用基准的构建讨论，促进了学术界与工业界在协同感知、轨迹预测等方向上的合作，为后续更大规模、更精细标注的路边数据集发布奠定了范式基础。