DeepSense 6G V2V

DeepSense 6G V2V数据集是由亚利桑那州立大学电气、计算机和能源工程学院创建的大型多模态传感与通信数据集，专为车辆间通信研究设计。该数据集包含超过125,000个数据点，涵盖城市、郊区和乡村高速公路等多种驾驶条件和环境。数据集内容丰富，包括360度摄像头、雷达、激光雷达、GPS和毫米波通信设备的数据，旨在通过这些多模态数据提升车辆间通信的可靠性和效率。创建过程中，数据采集自真实世界的驾驶环境，确保了数据的真实性和复杂性。该数据集的应用领域广泛，主要用于开发和评估车辆间通信算法，解决高速移动环境下的通信挑战，如碰撞避免和协同驾驶等。

DeepSense 6G V2V Dataset is a large-scale multimodal sensing and communication dataset developed by the School of Electrical, Computer, and Energy Engineering at Arizona State University, tailored specifically for vehicle-to-vehicle (V2V) communication research. This dataset contains over 125,000 data points, covering diverse driving conditions and environments including urban, suburban, and rural highways. It encompasses rich content, with data sourced from 360-degree cameras, radar, LiDAR, GPS, and millimeter-wave communication equipment, aiming to improve the reliability and efficiency of V2V communication via such multimodal data. During its creation, data was collected from real-world driving scenarios, ensuring the dataset's authenticity and complexity. This dataset has a wide range of applications, mainly used for developing and evaluating V2V communication algorithms, and addressing communication challenges in high-speed mobile environments such as collision avoidance and cooperative driving.

搜集汇总

数据集介绍

构建方式

DeepSense 6G V2V数据集的构建方式是通过在现实世界中部署一个两车测试平台，该平台配备有360°摄像头、四个雷达、四个60 GHz有源相控阵、一个3D激光雷达和两个精确的GPS。数据收集包括车辆在白天和夜晚的行驶，覆盖城市、郊区、农村等不同环境，车速最高可达100公里每小时。数据集包含了超过一百万个对象，从卡车到自行车的各种物体都被检测到。数据收集过程采用了自动化方法，以确保数据质量、可重复性和可扩展性。

特点

DeepSense 6G V2V数据集的特点在于其多模态感知和通信的结合。该数据集提供了与毫米波通信数据集成在一起的多模态传感信息，使得研究人员能够深入理解V2V场景，并探索传感器模态和通信系统之间的复杂交互。此外，数据集还提供了车辆周围的360°传感器覆盖，包括摄像头、雷达、激光雷达、定位传感器和毫米波通信设备，使得研究人员能够全面了解周围环境，捕获丰富的数据，包括视觉观察、物体检测、深度感知、定位和无线通信动态。数据集收集于真实世界环境，提供了对V2V通信场景的逼真表示，包括不同地点、天气条件、光照设置和交通状况。数据集包含超过125k个数据点，跨越四个场景，这有助于开发可扩展和鲁棒的深度学习解决方案。

使用方法

DeepSense 6G V2V数据集的使用方法包括但不限于以下几种：1. 无线通信应用：数据集可以用于研究毫米波/太赫兹通信系统的波束成形和波束跟踪算法，以及数据融合方法。2. 定位应用：数据集可以用于开发车辆定位和导航算法，以提高定位精度和可靠性。3. 感知应用：数据集可以用于开发物体检测和分类算法，以及其他自动驾驶任务，如图像分割、目标跟踪和场景理解。4. 机器学习任务：数据集可以用于开发基于位置的V2V波束预测算法，以及评估模型的泛化能力、鲁棒性和可扩展性。使用该数据集时，研究人员需要根据具体任务选择合适的数据格式和标注信息，并进行相应的数据预处理和模型训练。

背景与挑战

背景概述

在智能交通系统（ITS）中，车辆间通信（V2V）的高数据传输率和低延迟至关重要，它能够实现车辆间的协调、增强安全性，并支持分布式计算和智能需求。然而，随着数据交换的体积和复杂性的增加，当前的V2V通信方法面临着挑战，这可能会限制ITS的有效性。因此，探索更高频率的频段，如毫米波（mmWave）和亚太赫兹（sub-THz）频率，对于满足V2V通信系统的高速和数据密集型需求变得尤为重要。这些频率范围提供更大的带宽，并且具有大型天线阵列和波束成形能力，能够在动态和拥挤的环境中实现鲁棒和高效的通信，减轻干扰和信号衰减的影响。此外，未来的无线系统，特别是在6G及以上的系统中，预计将通信、多模态传感和定位能力作为其组成部分。这些系统预计将实施共存通信和传感功能，或者利用一个功能来增强另一个功能，从而突显出多模态传感和通信之间协同作用的重要性。鉴于此，本文介绍了DeepSense 6G V2V数据集，这是第一个用于研究毫米波车辆间通信的大规模多模态数据集。该数据集包括两个车辆的测试台，包含来自360度摄像头、四个雷达、四个60 GHz相控阵、一个3D激光雷达和两个精确GPS的数据。数据集包含车辆在白天和夜间行驶120公里，穿越城市和乡村环境，速度高达100公里/小时。在整个图像中检测到超过一百万个物体，从卡车到自行车。这项工作还包括详细的统计数据，证明了各种情况的覆盖范围，并突出了该数据集如何使新的机器学习应用成为可能。

当前挑战

尽管DeepSense 6G V2V数据集为V2V通信研究提供了宝贵的资源，但仍存在一些挑战。首先，毫米波/太赫兹通信系统在调整窄波束时通常与大量训练开销相关，这会随着天线的数量而扩展，这使得支持高移动性应用（如V2V通信）变得具有挑战性。其次，视线（LOS）链路的阻塞，如建筑物和其他车辆，可能会中断通信并挑战链路的可靠性。此外，现有的多模态数据集主要涉及单个车辆收集所有数据，并且不适合车辆间协作应用。因此，创建一个全面的、针对V2V通信的、大规模多模态传感辅助数据集，以捕捉真实世界场景，对于研究人员设计、评估V2V通信算法和协议至关重要。DeepSense 6G V2V数据集为解决这些挑战提供了一个独特的解决方案，它包含了多模态传感和通信数据，以及来自不同传感器的大量数据点，为V2V通信研究提供了丰富的数据基础。

常用场景

经典使用场景

DeepSense 6G V2V数据集为研究毫米波车对车通信提供了大规模的多模态数据支持。该数据集包含了从360°摄像头、四个雷达、四个60 GHz相控阵、一个3D激光雷达和两个精确的GPS收集的数据。这些数据记录了车辆在白天和夜晚，在城际和农村环境下以高达100公里/小时的速度行驶120公里的过程。数据集涵盖了超过一百万个物体，从卡车到自行车。该数据集的统计数据显示了其覆盖了各种情况，并突出了如何利用该数据集实现新型机器学习应用。

衍生相关工作

DeepSense 6G V2V数据集衍生了多项相关研究工作，包括基于深度学习的车对车通信算法、基于多模态传感的定位算法以及基于机器学习的物体检测和分类算法。这些研究工作利用DeepSense 6G V2V数据集的多模态传感和通信数据，实现了更准确和可靠的车对车通信、定位和感知算法。此外，该数据集还为研究车对车通信系统的泛化能力、鲁棒性和对数据分布变化的适应性提供了宝贵资源。

数据集最近研究

最新研究方向

随着智能交通系统（ITS）的不断发展，车对车（V2V）通信在协调、增强安全性和支持分布式计算与智能需求方面的重要性日益凸显。DeepSense 6G V2V数据集的提出，为研究毫米波（mmWave）车对车通信提供了首个大规模的多模态数据集。该数据集包含了来自360°摄像头、四个雷达、四个60 GHz相控阵、一个3D激光雷达和两个精确GPS的数据，涵盖了车辆在白天和夜间、在城市和乡村环境下行驶120公里的场景，速度高达每小时100公里。此外，该数据集还包含了超过一百万个物体的检测数据，从卡车到自行车应有尽有。这些详细的统计数据显示了该数据集在各种情况下的覆盖范围，突出了其如何使新的机器学习应用成为可能。DeepSense 6G V2V数据集的推出，为研究人员设计、评估算法和协议提供了强大的数据支持，推动了V2V通信研究的发展。

相关研究论文

• DeepSense-V2V: A Vehicle-to-Vehicle Multi-Modal Sensing, Localization, and Communications Dataset

  亚利桑那州立大学电气、计算机和能源工程学院 · 2024年