DeepSense 6G

DeepSense 6G数据集是由亚利桑那州立大学创建的大型真实世界多模态传感与通信数据集，包含超过100万条基于真实世界测量的数据。该数据集涵盖了40多种场景，如车辆到基础设施、车辆到车辆、无人机通信等，旨在推动深度学习在多模态传感、通信和定位交叉领域的研究。数据集的创建过程涉及多种传感器的同步收集和处理，以确保数据的质量和多样性。DeepSense 6G数据集的应用领域广泛，包括但不限于通信系统的优化、传感数据的分析和位置服务的改进，旨在解决实际部署中的复杂问题。

The DeepSense 6G Dataset is a large-scale real-world multimodal sensing and communication dataset developed by Arizona State University, containing over one million real-world measured data samples. This dataset covers more than 40 scenarios, including Vehicle-to-Infrastructure (V2I), Vehicle-to-Vehicle (V2V), unmanned aerial vehicle (UAV) communications and other use cases, and aims to promote deep learning research at the interdisciplinary intersection of multimodal sensing, communications, and positioning. The development of the dataset involves synchronous data collection and processing across multiple sensor modalities to guarantee both data quality and diversity. The DeepSense 6G Dataset supports a wide range of applications, including but not limited to communication system optimization, sensing data analysis, and location-based service enhancement, and is designed to address complex challenges in real-world deployments.

搜集汇总

数据集介绍

构建方式

DeepSense 6G数据集的构建采用了多模态传感数据，包括视觉和位置信息，以实现毫米波/太赫兹无人机通信中的高效和可靠波束预测。数据集整合了来自无人机基站的并发摄像头视觉数据、实际GPS坐标和毫米波波束训练数据。这些数据是在亚利桑那州立大学电气、计算机和能源工程学院的一个实验平台上收集的，该平台由一个配备有16个元素的毫米波相控阵和RGB摄像头的基站以及一个配备有毫米波发射机、GPS接收器和惯性测量单元的无人机组成。数据收集过程中，无人机执行了各种飞行轨迹，包括不同的高度、距离基站的距离和飞行速度，以确保数据集的多样性和现实世界适用性。

特点

DeepSense 6G数据集的特点在于其多模态性和现实世界数据。该数据集包含了无人机通信中至关重要的各种数据模态，如无线接收功率、图像、无人机的GPS位置、高度、距离和速度、俯仰和横滚信息。数据集的多样性体现在无人机速度、距离和高度的分布上，这些参数对无线环境的有效性和发射器的运动模式有直接影响。此外，数据集还展示了无线接收功率与无人机速度和俯仰角度之间的关系，这对于研究无线信道的动态行为至关重要。DeepSense 6G数据集的独特之处在于，它为研究毫米波/太赫兹无人机通信中的波束预测和跟踪提供了宝贵的资源。

使用方法

DeepSense 6G数据集可用于研究和开发基于机器学习的波束预测和跟踪算法。数据集已分为训练集和测试集，比例为70-30%，以便于模型训练和性能评估。数据集的每个样本都包含一组多模态传感数据，以及相应的毫米波波束训练数据。研究人员可以使用这些数据来训练和评估不同的机器学习模型，如卷积神经网络（CNN）和循环神经网络（RNN），以预测当前和未来的波束索引。此外，数据集还可以用于研究不同传感模态（如视觉和位置信息）对波束预测和跟踪性能的影响。通过分析不同高度和速度条件下模型的表现，研究人员可以深入了解无人机通信的动态特性，并优化算法以适应不同的飞行场景。

背景与挑战

背景概述

在下一代无线通信技术中，毫米波（mmWave）和太赫兹（THz）技术因其高数据速率而至关重要。然而，这些技术依赖于大型天线阵列和窄定向波束来确保足够的接收信号功率，这导致显著的波束训练开销。特别是在支持高度移动的应用，如无人机通信中，由于无人机的动态特性需要频繁的波束对准来保持连接，这一问题变得更加具有挑战性。为了解决这个问题，本文介绍了一个新的基于机器学习的框架，该框架利用多模态传感数据，包括视觉和位置信息，以加快和改进mmWave/THz波束预测。与仅依赖于耗时的波束训练方法的传统方法不同，我们的解决方案通过添加额外的上下层数据来准确预测波束方向，从而显著减少了训练开销。此外，我们的框架能够提前预测未来的波束对准。这一功能通过解决无人机移动性和实时处理中遇到的计算延迟问题，增强了系统的响应性和可靠性。这种先进的波束跟踪能力对于保持高度移动无人机的无缝连接至关重要。我们在一个独特的、真实的mmWave无人机通信数据集上进行了全面的评估，该数据集集成了并发摄像头视觉、实际GPS坐标和mmWave波束训练数据。我们的发现表明，使用top-1准确率指标，波束预测的准确率达到86.32%，top-3和top-5准确率接近完美，这表明波束训练开销显著减少。对于未来的波束预测，我们的视觉辅助解决方案在预测两个和三个未来波束时，使用top-3准确率指标，分别实现了约92%和88%的准确率。这些结果不仅突出了我们传感辅助解决方案的有效性，而且标志着向实现高效和高移动性的6G无人机通信迈出了重要一步，有可能改变未来的空中通信。

当前挑战

该数据集所面临的挑战包括：1）解决领域问题：在高度移动的应用中，如无人机通信，动态性导致频繁的波束对准，增加了波束训练开销；2）构建过程中所遇到的挑战：在无人机通信中，波束管理面临着两个关键因素：一是训练开销随着天线元件数量的增加而显著增加，二是无人机的三维移动模式需要比传统地面系统更频繁的波束调整。此外，现有的波束预测方法在无人机通信中面临着一些局限性，如预测能力受限于短时间窗口，在非视距场景下性能显著下降。为了克服这些挑战，需要开发新的方法来实现在减少波束训练的同时，保持高移动性6G无人机通信的效率和可靠性。

常用场景

经典使用场景

DeepSense 6G数据集主要应用于6G无人机通信中，特别是在毫米波和太赫兹频段。该数据集整合了无人机视觉数据、GPS坐标和毫米波波束训练数据，用于研究和开发基于机器学习的波束预测和跟踪框架。通过利用这些多模态传感数据，该数据集可以帮助研究人员和开发者优化无人机通信系统，提高波束预测的准确性和效率，减少波束训练的开销，并增强系统对无人机移动性和实时处理延迟的响应能力。

解决学术问题

DeepSense 6G数据集解决了在毫米波和太赫兹频段无人机通信中存在的波束训练开销问题。传统的波束训练方法依赖于大量的波束训练，这在高度移动的应用中变得特别具有挑战性。该数据集通过引入机器学习框架，利用多模态传感数据，实现了精确的波束方向预测，显著降低了训练开销。此外，该框架还能够预测未来的波束对齐，提高了系统的响应能力和可靠性，为高度移动的无人机提供了无缝连接。

衍生相关工作

DeepSense 6G数据集衍生了多项相关的研究工作，包括基于机器学习的波束预测和跟踪算法、多模态传感数据融合技术以及无人机通信系统优化方法等。这些研究工作不仅在理论上为无人机通信领域提供了新的研究方向，而且在实际应用中也为无人机通信系统的开发和部署提供了重要的技术支持。