Multi-V2X

Multi-V2X是由清华大学创建的大规模多模态多渗透率数据集，旨在解决车辆与一切（V2X）协作感知中的遮挡和长距离感知问题。该数据集通过联合模拟SUMO和CARLA，收集了大量车辆和路边单元（RSUs）的传感器数据，包括549,000张RGB图像、146,000帧LiDAR点云和4,219,000个标注的3D边界框，涵盖六类目标。数据集支持不同渗透率（最高达86.21%）的协作感知系统训练，适用于自动驾驶中的3D物体检测任务，旨在提高道路安全并减少交通事故。

Multi-V2X is a large-scale multimodal and multi-penetration-rate dataset developed by Tsinghua University, which is designed to address the occlusion and long-range perception challenges in vehicle-to-everything (V2X) collaborative perception. This dataset collects abundant sensor data from vehicles and Road Side Units (RSUs) via the co-simulation of SUMO and CARLA, including 549,000 RGB images, 146,000 LiDAR point cloud frames, and 4,219,000 annotated 3D bounding boxes spanning six object categories. It supports the training of collaborative perception systems with varying penetration rates (up to 86.21%), and is suitable for 3D object detection tasks in autonomous driving scenarios, aiming to improve road safety and reduce traffic accidents.

搜集汇总

数据集介绍

构建方式

Multi-V2X数据集采用CARLA和SUMO进行联合仿真，在模拟城镇中装备大量车辆和路边单元（RSU），并配备传感器套件以收集全面感知数据。为了模拟不同CAV渗透率的环境，部分车辆被标记为普通车辆，从而生成具有指定渗透率的训练数据集。数据集包含549k RGB帧、146k LiDAR帧和4,219k个标注的3D边界框，涵盖六个类别。

特点

Multi-V2X数据集具有多模态、多渗透率的特点，最高CAV渗透率可达86.21%，最多有31个通信范围内的代理，为选择协作代理提出了新的挑战。数据集包含丰富的类别、尺寸和数量的3D边界框，更接近真实世界情况。此外，数据集还提供了合作3D物体检测任务的全面基准。

使用方法

使用Multi-V2X数据集时，可以根据需要生成具有指定CAV渗透率的数据集。通过算法1，可以构造具有目标渗透率的训练集。在实际应用中，可以通过在时间轴上分割训练和测试集，避免信息泄露。此外，还可以通过重复运行算法1并使用不同的随机种子来获得足够的训练样本。

背景与挑战

背景概述

随着车联网技术的飞速发展，车辆与万物（V2X）的协同感知逐渐成为智能交通系统中的关键技术。为了克服传统感知技术在视距和长距离检测方面的局限性，研究人员积极探索基于V2X的协同感知方法。然而，现有的现实世界数据集往往存在可交互的智能车辆较少，而合成数据集通常仅包含车辆，缺乏对行人、自行车等易受伤害的道路使用者的覆盖。此外，连接和自动驾驶车辆（CAV）的渗透率这一关键因素尚未得到充分关注。针对这些问题，清华大学的研究团队提出了Multi-V2X数据集，这是一个大规模、多模态、多渗透率的数据集，旨在推动协同感知技术的发展。该数据集通过联合仿真SUMO和CARLA，为模拟城镇中的大量车辆和路边单元（RSU）配备了传感器套件，并收集了全面的感知数据。Multi-V2X数据集包含549k个RGB帧、146k个激光雷达帧以及4,219k个标注的3D边界框，覆盖六个类别。最高可达86.21%的CAV渗透率，最多可达31个通信范围内的智能体，为协同感知系统带来了新的挑战。

当前挑战

Multi-V2X数据集的创建和利用面临诸多挑战。首先，现实世界数据集中可交互的智能体数量有限，难以满足训练需求。其次，合成数据集通常只包含车辆，缺乏对行人、自行车等易受伤害的道路使用者的覆盖，可能导致协同感知算法偏离自动驾驶的根本目标——零事故。第三，现有数据集对CAV渗透率的考虑不足，而这一因素对协同感知技术的部署至关重要。Multi-V2X数据集通过联合仿真和模拟真实世界中的交通情况，解决了上述问题，为协同感知研究提供了更加丰富和接近实际情况的数据基础。然而，随着CAV渗透率的提高，智能体之间的通信和数据共享也带来了性能和带宽之间的权衡挑战。未来需要进一步研究如何选择最佳协同伙伴或特征，以确保在保证通信带宽的同时，提高协同感知系统的性能。

常用场景

经典使用场景

Multi-V2X数据集的经典应用场景在于车辆与基础设施的协同感知，通过整合来自车辆、路边单元等多源传感器的数据，实现对道路环境中物体的精确感知。数据集支持V2V和V2I两种合作模式，能够模拟真实世界中车辆与车辆、车辆与基础设施之间的通信与感知过程。

实际应用

在实际应用中，Multi-V2X数据集可以被用于训练和评估协同感知算法，以提升自动驾驶车辆的环境感知能力。数据集的多模态和多渗透率特性使得算法能够在不同的车辆渗透率条件下进行训练，从而更好地适应真实世界的复杂环境。此外，数据集还支持对通信效率的研究，有助于开发更高效的协同感知系统。

衍生相关工作

Multi-V2X数据集的发布推动了协同感知研究的发展，为后续研究提供了重要的数据基础。基于Multi-V2X，研究者可以探索不同渗透率下的协同感知算法，以及如何有效地选择协作伙伴或特征，以平衡性能和通信带宽。此外，数据集的多模态特性也促进了多源传感器融合算法的研究，以提高感知的准确性和鲁棒性。