V2U4Real

V2U4Real是一个用于车辆到无人机协同感知的真实世界大规模数据集，旨在支持CVPR 2026相关研究。

V2U4Real is a large-scale real-world dataset for vehicle-drone cooperative perception, which contains multi-sensor data collected by vehicles and drones, such as camera images and LiDAR point clouds.

原始信息汇总

V2U4Real 数据集概述

数据集基本信息

• 数据集名称：V2U4Real: A Real-world Large-scale Dataset for Vehicle-to-UAV Cooperative Perception
• 发布状态：已被 CVPR 2026 接收
• 论文链接：https://arxiv.org/abs/2603.25275
• 项目页面：https://github.com/VjiaLi/V2U4Real
• 数据集链接：https://github.com/VjiaLi/V2U4Real
• 许可证：MIT

数据集简介

V2U4Real 是一个真实世界的大规模车对无人机协同感知数据集。

数据采集与内容

• 采集平台：车辆与无人机协同平台
• 数据模态：
  • 车辆端：
    • 摄像头图像：左、中、右三个视角
    • 激光雷达点云：OS-128、RS-128、M1-PLUS 三种激光雷达
    • 元数据文件
  • 无人机端：
    • 摄像头图像：下视摄像头
    • 激光雷达点云：OS-128 激光雷达
    • 元数据文件
• 数据格式：
  • 图像：.jpg
  • 点云：.pcd
  • 元数据：.yaml

数据集结构

数据集按以下目录结构组织：

V2U4Real ├── train │ ├── 2025-07-17-16-12_1 │ │ ├── 1 # 车辆端 │ │ │ ├── camera │ │ │ │ ├── left │ │ │ │ ├── middle │ │ │ │ └── right │ │ │ ├── ouster │ │ │ ├── ruby │ │ │ ├── m1 │ │ │ └── yaml │ │ │ ├── ouster │ │ │ ├── ruby │ │ │ └── m1 │ │ └── 2 # 无人机端 │ │ ├── camera │ │ ├── ouster │ │ └── yaml │ │ └── ouster │ └── 2025-07-17-16-12_2 ├── val └── test

使用说明

数据可视化

可通过修改配置文件并运行指定脚本来可视化激光雷达数据流。

模型训练

使用 YAML 文件配置训练参数，支持从头训练或从检查点继续训练，支持单 GPU 和多 GPU 训练。

模型测试

在测试前需确保配置文件中指向测试数据集路径，支持早期、晚期和中间融合策略，可选择可视化检测结果。

发布计划

• 2026年4月：发布代码库
• 2026年6月：发布数据集下载链接
• 待发布：训练和推理代码、预训练模型、详细文档、基准测试排行榜

引用

如需在研究中引用本数据集或代码，请使用以下 BibTeX 条目： bibtex @article{li2026v2u4real, title={V2U4Real: A Real-world Large-scale Dataset for Vehicle-to-UAV Cooperative Perception}, author={Li, Weijia and Xiang, Haoen and Wang, Tianxu and Wu, Shuaibing and Xia, Qiming and Wang, Cheng and Wen, Chenglu}, journal={arXiv preprint arXiv:2603.25275}, year={2026} }

搜集汇总

数据集介绍

构建方式

在智能交通系统与自动驾驶技术蓬勃发展的背景下，V2U4Real数据集通过精心设计的真实世界采集方案构建而成。该数据集在复杂城市与高速公路环境中，同步部署了搭载多传感器套件的智能车辆与无人机平台，实现了车对无人机协同感知数据的同步采集。采集过程整合了多台高分辨率相机与多种型号的激光雷达，确保了多视角、多模态数据的时空对齐与高精度标注，从而构建了一个大规模、高质量的协同感知基准。

特点

V2U4Real数据集的核心特征在于其真实性与协同性。作为首个面向车对无人机协同感知的大规模真实世界数据集，它提供了前所未有的数据规模与场景复杂度。数据集涵盖了车辆侧的多视角视觉数据与无人机侧的俯视视角，结合了多种激光雷达点云，形成了异构且互补的多模态信息流。这种从地面到空中的立体感知覆盖，为研究跨平台、跨视角的感知融合与协同理解提供了极具挑战性的现实基准。

使用方法

为促进车对无人机协同感知算法的研发与评估，V2U4Real提供了完整的工具链。研究者可通过修改配置文件中的路径指向本地数据集，利用提供的可视化脚本直观审视点云序列。模型训练通过指定配置文件启动，支持从零训练或基于检查点微调，并可选择不同的融合策略。测试阶段则通过推理脚本加载训练好的模型，在测试集上进行性能评估，并可选择将检测结果以可视化叠加或视频流的形式呈现，便于结果分析与算法迭代。

背景与挑战

背景概述

在自动驾驶与无人机技术深度融合的背景下，车机协同感知成为提升智能交通系统鲁棒性与安全性的关键研究方向。V2U4Real数据集由Weijia Li等研究人员于2026年创建，并发表于CVPR会议，旨在解决真实世界中车辆与无人机跨平台协同感知的核心问题。该数据集通过整合多模态传感器数据，包括激光雷达与摄像头信息，构建了大规模的现实场景标注，为研究异构智能体间的数据融合与协同决策提供了重要基础，推动了自动驾驶领域从单一智能体感知向多智能体协同感知的范式转变。

当前挑战

车机协同感知领域面临异构平台数据对齐与融合的固有挑战，车辆与无人机的传感器配置、视角及运动模式存在显著差异，导致时空同步与特征匹配复杂度高。在数据集构建过程中，大规模真实场景数据的采集与标注需克服环境动态变化、多传感器校准以及数据一致性维护等难题，同时确保标注精度与场景多样性，以支撑鲁棒协同感知模型的训练与评估。

常用场景

经典使用场景

在自动驾驶与无人机协同感知领域，V2U4Real数据集为车辆与无人机之间的异构协同感知研究提供了关键支持。该数据集通过整合地面车辆的多视角摄像头、多型号激光雷达与无人机的俯视传感器数据，构建了大规模真实世界场景下的多模态时空对齐信息。研究者可基于此数据集开发先进的融合算法，以提升在复杂城市环境中对动态目标的检测与跟踪精度，尤其在遮挡或视野受限情况下，无人机的高空视角能有效补充地面车辆的感知盲区，实现更全面的环境理解。

解决学术问题

V2U4Real数据集主要致力于解决协同感知中异构平台间的数据融合与对齐难题。传统单一车辆感知系统受限于视野范围与传感器性能，难以应对密集交通或复杂地形下的目标漏检问题。该数据集通过提供精确时间同步与空间标定的多源数据，支持学术界探索跨模态特征提取、异步数据融合以及鲁棒性协同感知模型，从而推动车辆-无人机协同框架在理论层面的创新，为多智能体感知系统的可扩展性与可靠性奠定基础。

衍生相关工作

基于V2U4Real数据集，学术界已衍生出一系列经典研究工作，主要集中在多智能体协同感知模型的优化与评估框架构建。例如，研究者利用该数据集提出了基于注意力机制的跨平台特征融合网络，有效提升了异构传感器数据的一致性表达。同时，部分工作专注于设计轻量化的实时协同感知架构，以适应无人机等资源受限平台的计算需求。这些衍生工作不仅丰富了协同感知领域的方法体系，也为后续大规模真实场景下的应用部署提供了重要的算法基础与性能基准。