Cognitive-Drive

Cognitive-Drive是一个高保真多模态（LiDAR/4D雷达/摄像头）自动驾驶数据集，旨在在复杂、开放世界环境中测试自主感知系统。它通过主动学习方法构建，包含高分辨率混合固态LiDAR、4D毫米波雷达和8MP摄像头数据，完全同步和校准。数据集特别关注恶劣天气条件（如大雨、夜间和雾天）和安全关键场景，如易受伤害的道路使用者（VRUs）和长尾几何异常。所有帧均通过Cognitive-Prism框架选择，确保高信息密度和几何多样性。

Cognitive-Drive is a high-fidelity multimodal (LiDAR/4D radar/camera) autonomous driving dataset designed to test autonomous perception systems in complex, open-world environments. It is constructed via active learning approaches, and contains high-resolution hybrid solid-state LiDAR, 4D millimeter-wave radar, and 8-megapixel camera data that are fully synchronized and calibrated. The dataset specifically focuses on adverse weather conditions (e.g., heavy rain, nighttime and foggy conditions) as well as safety-critical scenarios, such as vulnerable road users (VRUs) and long-tailed geometric anomalies. All frames are selected through the Cognitive-Prism framework to ensure high information density and geometric diversity.

原始信息汇总

Cognitive-Drive 数据集概述

数据集基本信息

• 数据集名称：Cognitive-Drive
• 核心描述：一个高保真多模态自动驾驶数据集，采用价值驱动的数据筛选框架构建，旨在复杂开放世界环境中对自动驾驶感知系统进行压力测试。
• 数据状态：当前版本为样本数据与开发套件（DevKit），完整检测基准与主动学习代码库正在准备中，将于发布后公开。
• 许可协议：CC BY-NC-SA 4.0

数据采集与构成

• 采集平台：在中国上海密集城市环境中使用定制平台采集。
• 数据规模：完整基准将包含超过7000个已标注帧。
• 传感器配置：
  • 相机：分辨率3840x2160像素，视场角120°（水平）x 66°（垂直）。
  • 混合固态激光雷达：分辨率（距离2米，方位角0.18°，俯仰角0.24°），视场角（距离250米，方位角120°，俯仰角25°）。
  • 4D毫米波雷达：分辨率（距离0.25米，方位角2°，俯仰角4°），视场角（距离150米，方位角120°，俯仰角20°）。
• 数据同步：所有传感器通过GPS/PPS时间进行精确同步与校准。

数据标注与格式

• 标注类别：主要包含Car（汽车）、Pedestrian（行人）、Cyclist（骑行者）、Truck（卡车）四类。
• 标注格式：扩展自标准KITTI格式，包含20个值的每行标注，详细信息如下：
  • type：对象类别。
  • truncated：截断程度（0.0至1.0）。
  • occluded：遮挡状态（0,1,2,3）。
  • alpha：观察角度（-π 至 π）。
  • bbox：图像中的2D边界框（左、上、右、下）。
  • dimensions：3D对象尺寸（高、宽、长，单位：米）。
  • location：相机坐标系中几何中心的3D位置（x, y, z）。
  • rotation：激光雷达坐标系中的欧拉角（rx, ry, rz）。
  • score：标注置信度分数。
  • track_id：对象跟踪ID。
  • num_points：3D框内的激光雷达点数。
• 坐标系：所有3D标签（位置、尺寸）均提供于相机坐标系中。

数据分布与场景

• 时间分布：白天（81.4%）、夜晚（13.3%）、黎明（5.3%）。
• 天气分布：晴天（56.0%）、多云（24.8%）、雨天（15.2%）、雾天（4.0%）。
• 区域分布：市中心（41.7%）、郊区（30.5%）、高速公路（12.9%）、隧道（9.3%）、桥梁（5.6%）。
• 交通状况分布：慢速行驶（43.9%）、自由流（37.7%）、拥堵（18.5%）。
• 场景特点：重点关注恶劣天气（如大雨、夜晚、雾天）、高密度弱势道路使用者（VRUs）以及从海量数据流中挖掘的长尾几何异常。

数据集亮点

• 多模态传感器套件：包含高分辨率混合固态激光雷达、4D毫米波雷达和8MP相机，数据完全同步与校准。
• 恶劣天气聚焦：捕获真实世界信号退化场景，雨天帧占比超过12%。
• 安全关键场景：包含大量弱势道路使用者和长尾几何异常。
• 价值驱动筛选：所有数据帧均通过Cognitive-Prism主动学习框架筛选，确保高信息密度和几何多样性。

基准测试结果

在Cognitive-Drive测试集上，多种先进3D目标检测器的基准性能（3D平均精度AP）如下：

方法	Car AP	Pedestrian AP	Cyclist AP	Truck AP	mAP
PointRCNN	36.00	17.37	32.78	21.08	26.81
SECOND	48.64	29.14	49.54	22.38	37.43
PointPillars	48.78	25.45	49.98	23.98	37.05
CenterPoint	51.47	37.06	56.09	29.39	43.50
PV-RCNN	55.46	36.05	57.04	33.55	45.53

数据文件结构

Your_Project_Root ├── data │ ├── tjsens # 数据集根目录 │ │ ├── gt_database # 用于数据增强的生成真值数据库 │ │ ├── ImageSets # 数据集划分文件 │ │ │ ├── train.txt │ │ │ ├── val.txt │ │ │ ├── test.txt │ │ ├── testing # 测试集 │ │ │ ├── calib # 校准文件 │ │ │ ├── image_2 # 相机图像 │ │ │ ├── radar # 4D雷达点云 │ │ │ ├── velodyne # 激光雷达点云 │ │ ├── training # 训练集 │ │ │ ├── calib # 校准文件 │ │ │ ├── image_2 # 相机图像 │ │ │ ├── label_2 # KITTI格式标签 │ │ │ ├── radar # 4D雷达点云 │ │ │ ├── velodyne # 激光雷达点云

开发依赖

• 操作系统：Ubuntu 20.04
• Python：3.8+
• PyTorch：1.13+（推荐CUDA 11.7）
• OpenPCDet：v0.6.0
• spconv：v2.x

联系方式

• 联系人：Ruijie CHEN
• 邮箱：[e-mail]

搜集汇总

数据集介绍

构建方式

在自动驾驶感知系统面临复杂开放世界挑战的背景下，Cognitive-Drive数据集通过创新的价值驱动框架构建而成。其采集平台搭载了高分辨率混合固态激光雷达、4D毫米波雷达与8MP摄像头，所有传感器经过严格同步与校准，在中国上海密集城区环境中捕获多模态数据。数据筛选并非随机，而是依托于提出的Cognitive-Prism主动学习框架，从海量数据流中优先选取包含长尾几何异常与安全关键场景的帧，确保了数据的高信息密度与几何多样性，最终形成超过七千帧的精细标注样本。

使用方法

为便于研究与应用，数据集提供了完整的开发工具包。其数据结构遵循标准划分，包含训练集与测试集，并分别存储校准文件、图像、标签及点云数据。使用者需配置指定版本的Python、PyTorch及OpenPCDet等依赖环境。准备工作包括生成数据集信息文件，随后可基于提供的配置文件，利用单GPU或多GPU分布式策略进行模型训练。评估阶段则通过加载预训练检查点，在测试集上计算三维平均精度等指标以衡量模型性能。

背景与挑战

背景概述

自动驾驶领域在复杂城市环境中的鲁棒三维感知始终是核心挑战。现有数据集如KITTI和nuScenes虽推动了技术进步，但在长尾多样性与恶劣天气覆盖方面存在不足，难以满足实际部署的可靠性需求。Cognitive-Drive数据集由同济大学研究团队于2025年构建，旨在通过高保真多模态数据填补这一空白。该数据集采集自中国上海密集城区，集成了混合固态激光雷达、4D毫米波雷达与高分辨率相机，并采用主动学习框架进行价值驱动筛选，重点覆盖雨夜雾等恶劣天气与安全关键场景，为提升自动驾驶系统在开放世界中的感知鲁棒性提供了关键数据支撑。

当前挑战

该数据集致力于解决自动驾驶三维目标检测在复杂开放环境中的泛化能力问题，其核心挑战在于模型对恶劣天气下传感器信号退化与长尾几何异常场景的适应性。构建过程中的挑战主要体现在多模态数据的高精度同步与校准，尤其在雨雾天气下激光雷达与雷达点云的质量保障；此外，通过主动学习框架从海量数据流中高效挖掘具有高信息密度与几何多样性的安全关键样本，亦对数据标注策略与质量控制提出了严峻考验。

常用场景

经典使用场景

在自动驾驶感知系统的研究领域，Cognitive-Drive数据集以其高保真多模态传感器数据，成为评估和提升模型在复杂开放世界环境下鲁棒性的经典基准。该数据集特别聚焦于恶劣天气和长尾场景，例如大雨、夜间和雾天条件下的驾驶环境，为研究者提供了丰富的信号退化实例。通过其价值驱动的数据筛选框架，确保了每一帧数据都蕴含高信息密度和几何多样性，使得模型能够在安全关键场景中，如高密度弱势道路用户和异常几何形状的检测，得到充分验证。

解决学术问题

Cognitive-Drive数据集有效应对了自动驾驶感知研究中长期存在的挑战，即模型在长尾多样性和恶劣天气覆盖方面的不足。传统数据集如KITTI和nuScenes虽推动了领域发展，但往往缺乏部署级可靠性所需的极端条件数据。该数据集通过同步采集高分辨率激光雷达、4D毫米波雷达和相机数据，提供了精确的3D标注，解决了在复杂城市环境中，如上海密集城区，感知系统对汽车、行人和骑行者等目标的稳健检测问题。其价值驱动的主动学习框架进一步优化了数据选择，提升了学术研究中对开放世界不确定性的建模能力。

实际应用

在实际自动驾驶系统的开发与测试中，Cognitive-Drive数据集为感知模块的鲁棒性验证提供了关键支持。其多模态传感器配置模拟了真实世界的信号变化，帮助工程师评估系统在雨天、夜晚和雾天等不利条件下的性能衰减。数据集涵盖的市中心、郊区、高速公路等多种区域，以及慢速移动、自由流和拥堵等交通状态，使得它能够用于测试自动驾驶车辆在不同驾驶环境中的适应性。此外，其标注格式与KITTI标准兼容，便于集成到现有工具链中，加速实际应用的部署和优化过程。

数据集最近研究

最新研究方向

在自动驾驶感知领域，高保真多模态数据集正成为推动系统在复杂开放环境中实现可靠部署的关键基石。Cognitive-Drive数据集以其独特的价值驱动主动学习框架，聚焦于恶劣天气与长尾场景下的感知挑战，为前沿研究提供了重要支撑。当前研究热点紧密围绕多模态融合感知的鲁棒性提升展开，特别是在雨雾、夜间等低能见度条件下，如何有效整合固态激光雷达、4D毫米波雷达与高分辨率相机的异构数据，以应对信号衰减与几何异常。该数据集所强调的安全关键场景与高信息密度标注，正引导学界探索更高效的主动学习策略与数据价值评估方法，旨在构建能够适应现实世界动态复杂性的下一代自动驾驶感知系统。