AGC-Drive

AGC-Drive是一个大规模的真实世界数据集，用于空中-地面协作的3D感知。数据集由大约12万个LiDAR帧和44万个图像组成，涵盖了14种不同的现实世界驾驶场景，包括城市环岛、高速公路隧道和上下匝道。AGC-Drive包含400个场景，每个场景大约有100帧，并完全标注了13个对象类别的3D边界框。该数据集支持两个3D感知任务：车辆-车辆协作感知和车辆-UAV协作感知。AGC-Drive is a large-scale real-world dataset for air-ground collaborative 3D perception. It consists of approximately 120,000 LiDAR frames and 440,000 images, covering 14 distinct real-world driving scenarios including urban roundabouts, highway tunnels, on-ramps and off-ramps. AGC-Drive contains 400 scenarios, each with around 100 frames, and provides fully annotated 3D bounding boxes for 13 object categories. This dataset supports two 3D perception tasks: vehicle-to-vehicle collaborative perception and vehicle-to-UAV collaborative perception.

原始信息汇总

AGC-Drive数据集概述

数据集简介

AGC-Drive是一个大规模真实世界数据集，专注于无人机与地面车辆协同的自动驾驶研究。该数据集通过多智能体信息共享解决遮挡和感知范围受限等问题，提升复杂驾驶环境下的感知精度。

核心特点

• 创新视角：首次整合无人机(UAV)的空中视角
• 多模态数据：包含LiDAR点云、多视角RGB图像、GPS/IMU数据
• 丰富场景：覆盖14种真实驾驶场景(城市环岛、高速公路隧道等)
• 交互事件：19.5%的帧包含切入、切出等动态交互事件

数据规模

• LiDAR帧数：约120,000帧
• 图像数量：约440,000张
• 场景数量：400个场景(每个约100帧)
• 标注类别：13个物体类别的3D边界框

采集平台

• 地面车辆：2辆(每辆配备5个摄像头和1个LiDAR)
• 无人机：1架(配备前向摄像头和LiDAR)

配套工具

• 时空对齐验证工具
• 多智能体协同可视化系统
• 协同3D标注工具

基准方法

方法名称	类型	3D检测	协同融合	特点描述
Upper-bound	早期融合	✅	✅	共享原始点云数据
Lower-bound	后期融合	✅	✅	独立检测后共享结果
V2VNet	中间特征融合	✅	✅	多智能体中间特征融合
CoBEVT	BEV中间融合	✅	✅	稀疏Transformer BEV融合
Where2comm	通信高效	✅	✅	基于置信度图的稀疏特征共享
V2X-ViT	Transformer融合	✅	✅	基于注意力机制的BEV特征融合

相关研究

• V2VNet：车辆间通信感知基准
• CoBEVT：基于稀疏Transformer的鸟瞰图语义分割
• Where2comm：基于空间置信度图的通信高效协同感知
• V2X-ViT：基于Vision Transformer的车路协同感知

环境要求

• Python 3.7+
• CUDA 11.7+

搜集汇总

数据集介绍

构建方式

AGC-Drive数据集通过精心设计的多智能体数据采集平台构建，该平台由两辆装备五摄像头与128线激光雷达的车辆及一架搭载前视相机与32线激光雷达的无人机组成。研究团队历时三个月在14类真实驾驶场景中采集数据，通过专业时空同步技术将10Hz采样的激光雷达点云与图像数据对齐，并采用基于Xtreme1平台改进的标注系统完成1.6M个3D边界框的精细标注，涵盖13类交通参与者。数据采集路线特别设计了19.5%的动态交互场景，包括切入切出、频繁变道等高价值驾驶情境。

特点

作为首个支持空天地协同感知的真实世界数据集，AGC-Drive的突出特点体现在三维多模态数据的完备性上。其包含12万帧激光雷达点云与44万张多视角图像，特别创新地集成了无人机俯视视角的LiDAR数据，有效弥补传统V2X系统在垂直维度的感知盲区。数据集覆盖城市环岛、高速隧道等14类复杂场景，且按8:2比例配置昼夜光照条件。每个目标均标注9自由度3D框及遮挡等级，时空对齐误差被刻意保留以反映真实协作场景的挑战性。

使用方法

该数据集支持两种典型应用范式：通过AGC-V2V子集可开展车车协同3D检测研究，利用AGC-VUC子集则能探索车-无人机跨域感知融合。研究者可基于开源工具包实现多智能体数据可视化与时空对齐验证，基准测试框架已集成PointPillars等6种典型算法。使用时需注意数据按场景类型划分训练(320序列)、验证(90序列)与测试集(90序列)，感知范围设定为150m×150m的鸟瞰图空间。配套提供的4D雷达数据与车辆状态信号为多模态研究拓展了可能性。

背景与挑战

背景概述

AGC-Drive数据集由北京科技大学、厦门NEVC先进电动动力系统技术创新中心和上海交通大学的研究团队于2025年联合发布，旨在填补无人机-车辆协同感知领域高质量真实世界数据的空白。作为首个支持车载LiDAR与无人机LiDAR融合的大规模数据集，其核心研究问题聚焦于通过空天地多视角协作解决自动驾驶中的遮挡、远距离检测等关键挑战。该数据集包含12万帧LiDAR点云和44万张多视角图像，覆盖14类复杂驾驶场景，显著推动了V2X协同感知从平面向立体空间拓展的研究进程。

当前挑战

AGC-Drive面临的挑战主要体现在两方面：在领域问题层面，需解决无人机动态视角与地面固定视角的时空对齐难题，以及稀疏点云条件下的跨模态特征融合问题；在构建过程中，需克服无人机载LiDAR的垂直视场盲区、多智能体系统时钟同步精度控制等工程挑战。特别地，19.5%的动态交互事件数据对标注一致性提出更高要求，而城市峡谷等复杂场景的GPS信号漂移问题也增加了多传感器标定难度。

常用场景

经典使用场景

AGC-Drive数据集在自动驾驶领域中被广泛应用于空中-地面协同感知研究。通过整合无人机（UAV）与地面车辆的多模态传感器数据，该数据集为复杂交通场景下的3D目标检测提供了丰富的实验平台。其经典使用场景包括城市环岛、高速公路隧道和匝道等高风险环境，这些场景中动态交互事件（如车辆切入、切出和频繁变道）的高比例标注数据为算法鲁棒性验证提供了重要支撑。

实际应用

在实际应用中，AGC-Drive支撑了智能交通系统的多智能体协同决策开发。其无人机视角数据可优化城市路网的全域监控能力，特别适用于突发交通事故预警、复杂路口流量调度等场景。数据集涵盖的昼夜不同光照条件（8:2比例）和14类道路环境，为自动驾驶系统在真实世界的泛化部署提供了可靠性验证基础。

衍生相关工作

基于AGC-Drive衍生的研究显著推进了协同感知算法的发展。其中V2X-ViT等Transformer架构通过该数据集验证了跨模态注意力机制的有效性；Where2comm框架则利用其空间置信度标注优化了通信效率。数据集配套开源的时空对齐工具链和协同标注系统，已成为后续UAV-vehicle协作研究的标准基础设施，催生了Griffin等新型仿真数据集的设计。