CAIC-G

CAIC-G数据集由北京大学等机构创建，包含12000张图片，每张图片都标注有幽灵探测区。该数据集旨在帮助研究人员和开发者更好地预测和识别自动驾驶中的潜在危险区域，如突然出现的行人和障碍物。数据集的构建经过仔细的数据收集和交叉验证以保证准确性，并通过开源方式供社区使用。

The CAIC-G dataset was created by Peking University and other institutions, consisting of 12,000 images each annotated with ghost detection regions. This dataset aims to help researchers and developers better predict and identify potential hazardous areas in autonomous driving scenarios, such as suddenly appearing pedestrians and obstacles. Rigorous data collection and cross-validation were conducted during its construction to ensure accuracy, and it is openly shared with the research community via open-source distribution.

搜集汇总

数据集介绍

构建方式

CAIC-G数据集的构建基于对城市交通环境中潜在幽灵探头区域的系统标注。研究团队在南京采集了超过500张交通场景图像，并采用与先前研究一致的技术进行精确标注。通过单目相机捕捉场景后，利用Metric3Dv2框架进行零样本深度估计，结合深度梯度幅值计算识别深度不连续区域作为潜在危险区域。所有标注数据经过交叉验证以确保空间位置标注的准确性，最终形成包含12,000张标注图像的数据集。

特点

该数据集的核心价值在于首次将幽灵探头区域预测从车辆遮挡场景扩展到包括墙体、树木等非车辆障碍物构成的盲区。数据样本涵盖不同光照条件、复杂城市场景及多样化的遮挡类型，每个样本均包含RGB图像、深度图梯度特征及三维点云数据的三模态标注。特别值得注意的是，数据集通过无监督深度预测方法捕捉到的深度不连续特征与真实事故风险区域展现出显著的空间相关性，为多模态特征融合研究提供了理想基准。

使用方法

使用CAIC-G数据集时，建议采用端到端的2D-3D特征融合框架。首先通过Metric3Dv2提取单目深度图，经Scharr算子处理获得深度梯度特征，同时将深度图转换为三维点云。随后采用U-Net架构提取二维图像金字塔特征，结合PointNet++提取的多尺度点云特征，最终通过跨注意力机制实现模态融合。该数据集支持以召回率、精确率和F1分数作为核心评估指标，特别适用于验证算法在复杂遮挡场景下的泛化能力。

背景与挑战

背景概述

CAIC-G数据集由北京大学智能科学与技术学院、中国汽车创新公司等机构联合开发，旨在解决自动驾驶领域中的幽灵探测问题。幽灵探测问题指的是在密集城市环境中，行人或物体突然从遮挡区域闯入交通路径，导致潜在的安全隐患。该数据集包含12,000张图像，标注了潜在的幽灵探测区域，为研究提供了丰富的视觉数据。CAIC-G的创建填补了现有数据集中对非车辆遮挡物（如墙壁、树木等）引起的幽灵探测问题研究的空白，推动了自动驾驶安全技术的发展。

当前挑战

CAIC-G数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，幽灵探测区域的预测需要处理复杂的遮挡场景和动态环境，传统的感知方法难以准确识别盲区中的突发物体。构建过程中，数据标注的准确性至关重要，需要对遮挡区域进行精细标注，同时确保数据来源的多样性和代表性。此外，数据集的规模和质量需平衡，以支持模型的泛化能力，避免过拟合或欠拟合问题。

常用场景

经典使用场景

CAIC-G数据集在自动驾驶领域中被广泛用于幽灵探测区域的预测研究。幽灵探测区域指的是那些由于遮挡物（如公交车、树木或墙壁）导致驾驶员或自动驾驶系统无法直接观察到的危险区域。该数据集通过标注这些潜在的危险区域，为研究者提供了一个标准化的测试平台，用于开发和验证新的幽灵探测算法。

衍生相关工作

CAIC-G数据集衍生了一系列经典研究工作，主要集中在多模态特征融合和低成本感知算法上。例如，基于该数据集的研究提出了多种2D-3D特征融合框架，如DPGP框架，这些框架通过结合单目深度估计和点云处理技术，显著提升了幽灵探测区域的预测性能。此外，该数据集还激发了关于无监督学习和跨模态注意力机制的研究，推动了自动驾驶感知技术的进一步发展。

数据集最近研究

最新研究方向

近年来，CAIC-G数据集在自动驾驶安全领域的研究方向主要集中在多模态特征融合与低成本感知方案上。随着城市环境中鬼探头事故（即行人或物体突然闯入交通路径）频发，学术界开始探索如何通过单一摄像头实现高效的盲区预测。当前研究热点包括基于单目深度估计的无监督学习方法、2D-3D跨模态注意力机制的设计，以及轻量化框架在边缘设备上的部署。该数据集的独特价值在于首次将鬼探头区域预测扩展至非车辆遮挡场景（如围墙、树木等），为复杂城市场景下的主动避障算法提供了重要基准。相关研究正推动着自动驾驶系统在保持低成本优势的同时，实现对突发风险的早期预警能力。

相关研究论文

• DPGP: A Hybrid 2D-3D Dual Path Potential Ghost Probe Zone Prediction Framework for Safe Autonomous Driving

  北京大学，北京100871，中国 · 2025年