未明确给出数据集名称

本文提出了一种基于多模态感知的毫米波通信中资源高效的束预测方法。为了实现多模态学习，作者开发了一个新颖的多模态仿真框架，该框架整合了自动驾驶模拟器CARLA生成的传感器数据与MATLAB基于毫米波信道建模技术，以反映现实世界条件。该数据集包含了多种传感器模态，如LiDAR、雷达、GPS和RGB图像数据，以及相应的束形成信息，旨在用于训练多模态束预测模型，并在多车辆到基础设施（V2I）环境中进行有效的束预测。

This paper proposes a resource-efficient beam prediction method based on multimodal perception in millimeter-wave communication. To achieve multimodal learning, the authors have developed a novel multimodal simulation framework, which integrates sensor data generated by the autonomous driving simulator CARLA with MATLAB-based millimeter-wave channel modeling techniques to reflect real-world conditions. The dataset contains various sensor modalities such as LiDAR, radar, GPS, and RGB image data, along with corresponding beamforming information, aiming to be used for training multimodal beam prediction models and for effective beam prediction in the multi-vehicle to infrastructure (V2I) environment.

搜集汇总

数据集介绍

构建方式

该数据集构建于一个多模态仿真框架中，结合了自动驾驶模拟器CARLA和MATLAB的毫米波信道建模能力。首先，在CARLA中创建了包含多车道和动态车辆的城市场景，模拟了不同天气和时间条件下的传感器数据（包括LiDAR、雷达、GPS和RGB图像）。随后，通过Blender API将CARLA环境转换为3D模型，并导入MATLAB进行精确的射线追踪仿真，生成毫米波信道的传播特性（如路径损耗、延迟扩展等）。最终，将传感器数据与信道参数融合，形成一个包含时间序列和空间标签的综合数据集。

特点

该数据集的特点在于其高度真实性和多模态性。它不仅包含了丰富的传感器数据（LiDAR点云、雷达测距、GPS坐标和RGB图像），还提供了详细的毫米波信道参数（如接收信号强度、到达角等）。数据集覆盖了多种城市场景（如2车道和3车道道路）和不同环境条件（如白天、夜晚、雨雾等），能够有效模拟现实世界中的复杂通信环境。此外，数据集还标注了最优波束索引，为机器学习模型提供了明确的监督信号。

使用方法

该数据集主要用于训练和评估基于多模态感知的波束预测模型。研究人员可以使用该数据集进行以下任务：1）多模态传感器数据的融合与特征提取；2）毫米波波束预测模型的训练与验证；3）跨模态知识蒸馏的研究，如将多模态教师模型的知识迁移到雷达单模态学生模型。数据集可按时间步或场景划分训练集、验证集和测试集，支持使用Top-k准确率、平均接收信号强度和平均百分位排名等指标进行性能评估。

背景与挑战

背景概述

毫米波通信作为下一代无线通信系统的关键技术，因其高数据传输速率和带宽密集型应用的支持能力而备受关注。波束成形技术是毫米波通信中的核心，通过优化信号的方向性和强度来提高传输质量。然而，传统的信道估计方法如导频信号或波束扫描在快速变化的通信环境中表现不佳。多模态感知辅助波束预测技术应运而生，利用LiDAR、雷达、GPS和RGB图像等多种传感数据预测用户位置或网络状况。该数据集由Yu Min Park等研究人员于2025年提出，旨在通过跨模态关系知识蒸馏（CRKD）方法，将多模态网络的知识迁移到仅使用雷达的单模态网络中，从而降低计算开销并保持预测准确性。该研究还开发了一个结合CARLA自动驾驶模拟器和MATLAB的多模态仿真框架，以生成真实世界条件下的传感器数据。

当前挑战

该数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，多模态感知辅助波束预测技术虽然潜力巨大，但其应用受到高计算复杂度、高成本和有限数据集的限制。具体而言，部署高分辨率传感器（如LiDAR或高帧率摄像头）成本高昂，且广泛使用摄像头会引发隐私问题。此外，现有的公共数据集往往缺乏某些传感模态或受限于特定环境条件。在构建过程中，创建全面的多模态数据集具有挑战性，因为需要整合来自不同传感器的数据，并确保其在时间和空间上的同步性。此外，虚拟环境数据集与真实世界数据集在环境复杂性、传感器特性和噪声建模方面存在显著差异，这降低了仅基于合成数据训练的模型的泛化能力。

常用场景

经典使用场景

毫米波通信中的波束成形技术是提升信号传输效率的关键，然而传统的信道估计方法如波束扫描在快速变化的通信环境中表现不佳。多模态感知辅助波束预测技术通过整合LiDAR、雷达、GPS和RGB图像等多种传感器数据，能够有效预测用户位置或网络状态，从而优化波束对齐。该数据集通过结合CARLA自动驾驶模拟器和MATLAB的毫米波信道建模，提供了一个高度真实的虚拟环境，用于生成多模态传感器数据和通信实验数据，为波束预测研究提供了坚实的基础。

实际应用

在实际应用中，该数据集为自动驾驶和无人机通信等低延迟应用场景提供了高效的波束预测方案。通过整合多模态传感器数据和毫米波信道特性，该数据集能够模拟复杂的城市环境，生成包含LiDAR、雷达、RGB图像和GPS数据的综合数据集。这些数据不仅可用于训练和验证波束预测算法，还能支持实时、资源受限的通信系统优化，为下一代无线网络的部署提供了重要参考。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于Transformer的多模态传感器融合模型和轻量化的雷达-only波束预测网络。相关研究如DeepSense 6G和ViWi数据集进一步扩展了多模态感知在无线通信中的应用。此外，跨模态知识蒸馏技术的引入为其他资源受限场景（如边缘计算和物联网）提供了新的研究思路，推动了高效模型压缩和知识迁移方法的发展。