V2X-R

V2X-R数据集是首个结合LiDAR、相机和4D雷达的V2X数据集，包含12,079个场景，37,727帧LiDAR和4D雷达点云，150,908张图像，以及170,859个标注的3D车辆边界框。

The V2X-R Dataset is the first V2X dataset integrating LiDAR, camera and 4D radar. It contains 12,079 scenarios, 37,727 frames of LiDAR and 4D radar point clouds, 150,908 images, and 170,859 annotated 3D vehicle bounding boxes.

原始信息汇总

V2X-R 数据集概述

简介

V2X-R 是一个包含 LiDAR、相机和 4D 雷达的多模态数据集，专门用于 3D 目标检测。该数据集包含 12,079 个场景，共计 37,727 帧 LiDAR 和 4D 雷达点云数据，150,908 张图像，以及 170,859 个标注的 3D 车辆边界框。

数据集特点

• 多模态支持：

  • LiDAR
  • 4D 雷达
  • LiDAR-4D 雷达融合

• 数据集支持：

  • V2X-R
  • OPV2V
  • DAIR-V2X

• 先进的协同感知方法支持：

  • 晚融合
  • 早融合
  • When2com (CVPR2020)
  • V2VNet (ECCV2020)
  • PFA-Net (ITSC2021)
  • RTNH (NIPS2022)
  • DiscoNet (NeurIPS2021)
  • V2X-ViT (ECCV2022)
  • CoBEVT (CoRL2022)
  • Where2comm (NeurIPS2022)
  • CoAlign (ICRA2023)
  • BM2CP (CoRL2023)
  • SCOPE (ICCV2023)
  • How2comm (NeurIPS2023)
  • InterFusion (IROS2023)
  • L4DR (Arxiv2024)
  • SICP (IROS2024)

• 可视化支持：

  • BEV 可视化
  • 3D 可视化

数据集结构

数据集下载并解压后，结构如下： sh V2X-R # 根路径 ├── train │ ├── 序列名称（数据收集时间，例如 2024_06_24_20_24_02） │ │ ├── 代理编号（"-1" 表示基础设施，否则为 CAVs） │ │ │ ├── 数据（包含以下类型的数据） │ │ │ │ 时间戳.类型，例如： │ │ │ │ - 000060_camerai.png（第 i 个相机） │ │ │ │ - 000060.pcd（LiDAR） │ │ │ │ - 000060_radar.pcd（4D 雷达） │ │ │ │ - 000060_fog.pcd（雾模拟 LiDAR） │ │ │ │ - 000060_snow.pcd（雪模拟 LiDAR） │ │ │ │ - 000060.yaml（雾模拟 LiDAR） ├── validate │ ├── ... ├── test │ ├── ...

数据集下载与解压

• 下载链接：http://39.98.109.195:1000/
• 用户名：Guest
• 密码：guest_CMD

数据集包含大量数据（每个代理包含 3x LiDAR{正常、雾、雪}、1x 雷达、4x 图像），已压缩为序列数据。下载后可参考以下代码进行批量解压： python import os import subprocess def decompress_v2x_r(root_dir, save_dir): for root, dirs, files in os.walk(root_dir): for file in files: if file.endswith(.7z): file_path = os.path.join(root, file) path = root.split(/) extract_path = os.path.join(save_dir, path[-2], path[-1], file[:-3]) os.makedirs(extract_path, exist_ok=True) subprocess.run([7z, x, -o + extract_path + /, file_path])

data_directory = # 下载的数据集路径，例如：/mnt/16THDD-2/hx/V2X-R_Dataset(compressed) output_directory = # 输出数据集路径，例如：/mnt/16THDD-2/hx/t decompress_v2x_r(data_directory, output_directory)

数据集校准

数据集提供每个传感器（LiDAR、4D 雷达、相机）的校准信息，用于传感器间融合。特别地，4D 雷达点云数据已预先转换为对应代理的 LiDAR 坐标系统，因此 4D 雷达点云参考 LiDAR 坐标系统。

搜集汇总

数据集介绍

构建方式

V2X-R数据集的构建依托于CARLA模拟器和OpenCDA框架，通过模拟真实交通场景生成大量数据。数据集包含了12,079个场景，每个场景包含37,727帧的LiDAR和4D雷达点云数据、150,908张图像以及170,859个标注的3D车辆边界框。此外，数据集的路线采集过程部分参考了V2XViT项目，确保了数据的真实性和多样性。

特点

V2X-R数据集的显著特点在于其多模态数据的支持，包括LiDAR、4D雷达和LiDAR-4D雷达融合数据。此外，数据集还提供了多种先进的协同感知方法支持，如Late Fusion、Early Fusion等，以及多种SOTA模型，如V2VNet、DiscoNet等。这些特点使得V2X-R成为研究多代理协同感知和3D目标检测的理想数据集。

使用方法

使用V2X-R数据集时，用户需先登录指定网站下载数据，并使用提供的Python脚本进行批量解压缩。数据集结构清晰，分为训练、验证和测试集，每集包含多个序列，每个序列包含不同代理的数据。用户可根据需求选择合适的模型配置文件进行训练或测试，支持单GPU和多GPU分布式训练。此外，数据集还提供了详细的校准信息，便于传感器间数据融合。

背景与挑战

背景概述

V2X-R数据集是由一支专注于多模态传感器融合的研究团队创建的，旨在解决自动驾驶领域中的3D物体检测问题。该数据集首次整合了LiDAR、摄像头和4D雷达三种传感器数据，包含12,079个场景，共计37,727帧LiDAR和4D雷达点云数据、150,908张图像以及170,859个标注的3D车辆边界框。V2X-R数据集的创建不仅推动了多传感器融合技术的发展，还为自动驾驶系统中的协同感知提供了丰富的数据支持，极大地促进了相关领域的研究进展。

当前挑战

V2X-R数据集在构建过程中面临多重挑战。首先，多传感器数据的同步与校准是一个复杂的技术难题，确保不同传感器数据在时间和空间上的精确对齐是实现有效融合的前提。其次，数据集的规模庞大，包含多种环境条件下的数据（如雾、雪等），这增加了数据处理的复杂性和计算资源的消耗。此外，如何从多模态数据中提取有效特征并进行高效融合，以提升3D物体检测的准确性和鲁棒性，是当前研究中的一个重要挑战。最后，数据集的公开和使用也面临隐私和安全方面的考虑，确保数据的安全性和合规性是不可忽视的问题。

常用场景

经典使用场景

V2X-R数据集在自动驾驶领域中扮演着至关重要的角色，其经典使用场景主要集中在多传感器融合的三维物体检测任务上。通过整合激光雷达（LiDAR）和四维雷达（4D Radar）的数据，V2X-R能够提供高精度的环境感知信息，从而显著提升自动驾驶系统对周围环境的理解和响应能力。这种多模态数据融合策略不仅增强了检测的准确性，还提高了系统的鲁棒性，使其在复杂和多变的交通环境中表现出色。

解决学术问题

V2X-R数据集的引入解决了自动驾驶领域中多传感器融合和三维物体检测的关键学术问题。传统的单一传感器数据往往受限于环境条件和传感器自身的局限性，而V2X-R通过融合LiDAR和4D Radar的数据，有效克服了这些限制，提供了更为全面和准确的环境感知。这不仅推动了自动驾驶技术的发展，也为相关领域的研究提供了新的数据支持和实验平台，具有深远的学术意义和影响。

衍生相关工作

V2X-R数据集的发布催生了一系列相关的经典工作，特别是在多传感器融合和三维物体检测领域。例如，基于V2X-R数据集的研究成果，如V2VNet、DiscoNet和Where2comm等，已经在多个国际顶级会议上发表，并获得了广泛的关注和认可。这些工作不仅推动了多传感器融合技术的发展，也为自动驾驶领域的研究提供了新的思路和方法。此外，V2X-R数据集还激发了更多关于数据融合和感知算法的研究，进一步丰富了自动驾驶技术的理论和实践。