V2X-Real

V2X-Real是由加州大学洛杉矶分校开发的用于车辆与万物协同感知的大型数据集。该数据集通过两辆自动驾驶车辆和两个智能基础设施收集，配备多种传感器如激光雷达和多视角摄像头。数据集包含33,000个激光雷达帧和171,000张相机图像，以及超过120万个标注的边界框，涵盖10个类别，主要用于解决城市环境中复杂的感知问题。数据集根据协同模式和自我视角分为四个子数据集，分别支持车辆中心、基础设施中心、车辆间和基础设施间的协同感知。V2X-Real is a large-scale dataset developed by the University of California, Los Angeles (UCLA) for vehicle-to-everything (V2X) collaborative perception. This dataset is collected using two autonomous vehicles and two intelligent infrastructure nodes equipped with various sensors including LiDARs and multi-view cameras. The dataset contains 33,000 LiDAR frames, 171,000 camera images, and over 1.2 million annotated bounding boxes covering 10 categories, and is primarily designed to address complex perception tasks in urban environments. The dataset is divided into four subsets based on collaboration modes and ego perspectives, which respectively support vehicle-centric, infrastructure-centric, inter-vehicle, and inter-infrastructure collaborative perception.

搜集汇总

数据集介绍

构建方式

在车路协同感知领域，真实世界数据的稀缺性一直是制约算法发展的关键瓶颈。V2X-Real数据集的构建采用了多智能体协同采集策略，通过部署两辆联网自动驾驶车辆与两套智能路侧单元，在复杂的城市交叉口与走廊场景中同步收集多模态感知数据。整个采集过程历时三个月，累计超过75小时的驾驶日志，最终精选出70个代表性场景，形成了包含3.3万帧激光雷达点云与17.1万张相机图像的大规模数据集。数据标注方面，采用专家标注与多轮审核机制，结合基础设施点云融合标注策略，显著提升了标注效率与准确性，最终生成了涵盖10类目标的超过120万个三维边界框标注。

特点

V2X-Real数据集的核心特点在于其全面支持车路协同（V2X）多种协作模式，突破了以往数据集中仅支持单一协作模式的局限。该数据集依据协作主体与视角，衍生出车辆中心、基础设施中心、车对车以及设施对设施四类子数据集，为不同研究方向提供了定制化数据支持。数据采集场景集中于高密度的城市与高速公路环境，平均每场景包含36个目标，最高可达115个，涵盖了丰富的交通参与者与复杂交互情境。此外，数据集提供了多视角相机覆盖360度视野，并包含大量弱势道路使用者标注，为多类别协同感知研究奠定了坚实基础。

使用方法

该数据集主要用于车路协同三维目标检测任务的研究与评估。研究者可根据不同子数据集设定，将特定智能体作为感知主体，并融合其他协作智能体的激光雷达点云或特征信息进行协同推理。数据集提供了无融合、早期融合、晚期融合及中间融合等多种基准策略，并支持AttFuse、F-Cooper、V2X-ViT等先进融合方法的性能评测。评估时采用平均精度指标，依据目标尺寸差异设定差异化交并比阈值，以确保对多尺度目标检测性能的公正衡量。数据集的发布旨在推动协同感知算法在真实复杂场景中的泛化与应用。

背景与挑战

背景概述

随着车联网技术的飞速发展，车路协同感知已成为提升自动驾驶系统环境感知能力的关键路径。然而，长期以来，真实世界中的车路协同感知研究缺乏大规模、多模态的数据支撑，现有数据集多局限于单一协作模式，难以全面反映复杂交通场景下的协同需求。在此背景下，由加州大学洛杉矶分校研究团队于2024年推出的V2X-Real数据集应运而生，旨在填补真实世界车路协同感知数据的空白。该数据集通过两辆智能网联汽车与两套智能路侧设备协同采集，涵盖3.3万帧激光雷达点云与17.1万张相机图像，并标注超过120万个三维边界框，覆盖城市道路与高速公路等挑战性场景。其核心研究问题聚焦于如何通过多智能体协同感知突破单车视觉的局限，如遮挡与感知范围不足，进而推动自动驾驶与智能交通系统的深度融合。

当前挑战

V2X-Real数据集致力于解决车路协同三维目标检测中的核心挑战，即在动态多智能体协作中实现高效、准确的环境感知。具体而言，该领域面临多源异构数据融合的复杂性，包括不同传感器（激光雷达与多视角相机）的时空对齐、通信带宽限制下的信息传输优化，以及多类别目标（尤其是行人、自行车等弱势道路使用者）在密集交通流中的精准识别。在数据集构建过程中，研究团队需克服多重困难：一是多智能体系统的高精度时间同步与坐标系统一，确保来自车辆与基础设施的数据能在统一空间框架下有效融合；二是大规模场景中高质量标注的获取，通过结合多智能体点云以提升标注效率与准确性，并设计自动化插值策略处理静态对象；三是真实城市环境数据采集的复杂性，需在光照变化、高交通密度等条件下保障数据多样性与代表性，以支撑算法在真实场景中的泛化能力。

常用场景

经典使用场景

在自动驾驶与智能交通系统领域，V2X-Real数据集为车路协同感知研究提供了关键支撑。其经典使用场景聚焦于城市复杂环境下的多智能体协作，通过整合车辆与基础设施的多模态传感器数据，模拟真实交通中的动态交互。该数据集支持车辆中心、基础设施中心、车对车及设施对设施四种协作模式，使研究者能够评估算法在遮挡、密集交通及多视角融合等挑战下的性能，为协同感知模型的训练与验证奠定了坚实基础。

衍生相关工作

围绕V2X-Real数据集，已衍生出一系列经典的协同感知研究工作。这些工作主要集中于多智能体融合策略的优化，例如基于注意力机制的AttFuse、采用图神经网络的V2VNet以及利用视觉变换器的V2X-ViT等方法。这些研究在早期融合、晚期融合及中间融合等不同架构上进行了深入探索，推动了协同感知模型在带宽效率与检测精度之间的平衡。此外，数据集支持的多类别检测基准也激发了针对弱势道路使用者保护的专项研究，进一步拓展了V2X技术在安全关键场景中的应用边界。

数据集最近研究

最新研究方向

在车路协同感知领域，V2X-Real数据集的推出标志着研究重心从单一协作模式向全方位V2X交互的转变。该数据集首次在真实城市环境中整合了车辆与基础设施的多模态感知数据，涵盖了车辆中心、基础设施中心、车对车及设施对设施四种协作场景，为复杂动态交通下的协同感知算法提供了前所未有的验证平台。当前前沿研究聚焦于多智能体中间融合策略的优化，特别是基于注意力机制与视觉变换器的特征交互方法，以平衡通信带宽与感知精度之间的矛盾。同时，数据集对弱势道路使用者的密集标注推动了协同感知在行人、自行车等小目标检测上的探索，弥补了以往研究在此类关键安全场景中的不足。这一进展不仅加速了车路云一体化系统的落地，也为智慧交通管理中的全局态势感知奠定了数据基础。

相关研究论文

• V2X-Real: a Largs-Scale Dataset for Vehicle-to-Everything Cooperative Perception

  加州大学洛杉矶分校 · 2024年