M3SC

M3SC数据集是由北京大学先进光通信系统与网络国家重点实验室开发，专为多模态多模态感知通信集成研究设计。数据集包含1500个快照，涵盖80张RGB图像、160张深度图、80个激光雷达点云、256组毫米波波形及72个信道脉冲响应矩阵，总计120,000张RGB图像、240,000张深度图、120,000个激光雷达点云、384,000组毫米波波形及108,000个信道脉冲响应矩阵。该数据集考虑了多种天气条件、不同时间段和频率带宽，旨在支持6G集成感知通信系统的设计和算法开发，解决复杂环境下的感知和通信问题。

The M3SC dataset was developed by the State Key Laboratory of Advanced Optical Communication Systems and Networks, Peking University, and is specifically designed for research on multimodal perception-communication integration. The dataset consists of 1500 snapshots, with each snapshot containing 80 RGB images, 160 depth maps, 80 LiDAR point clouds, 256 sets of millimeter-wave waveforms, and 72 channel impulse response matrices. In total, the dataset encompasses 120,000 RGB images, 240,000 depth maps, 120,000 LiDAR point clouds, 384,000 sets of millimeter-wave waveforms, and 108,000 channel impulse response matrices. This dataset takes into account various weather conditions, different time periods and frequency bandwidths, aiming to support the design and algorithm development of 6G integrated perception-communication systems and address the challenges of perception and communication in complex environments.

搜集汇总

数据集介绍

构建方式

M3SC数据集的构建采用了多源仿真平台融合的方法。首先，使用AirSim和WaveFarer构建物理空间，并从中提取多模态传感数据；然后，利用Wireless InSite构建电磁空间，并从中获取无线通信数据。为了保证物理空间和电磁空间的精确对齐，对各个平台中的场景、物体和天气参数进行了细致的设置和调整。此外，通过模拟动态对象的轨迹和碰撞检测，确保了场景的逼真性和有效性。

特点

M3SC数据集具有以下特点：1）包含多模态传感数据，如RGB图像、深度图、激光雷达点云和毫米波雷达点云；2）包含精确的射线追踪技术生成的无线信道数据，如信道冲激响应矩阵；3）覆盖多种天气条件，包括晴天、雨天和雪天；4）覆盖不同的时间段，包括白天和夜晚；5）覆盖不同的频率范围，包括亚6GHz和毫米波频段。

使用方法

M3SC数据集可用于多种多模态感知通信应用，如信道建模、波形设计和感知增强。用户可以根据需要选择合适的场景和参数，提取相应的数据进行分析和处理。例如，可以通过分析信道冲激响应矩阵来研究信道衰落特性，从而设计更有效的信道编码和调制方案；可以通过分析多模态传感数据来提高感知系统的准确性和鲁棒性，从而实现更安全的自动驾驶。

背景与挑战

背景概述

随着第五代（5G）移动通信系统的标准化完成和商业部署，第六代（6G）通信系统的研究正在学术界和产业界引起广泛关注。6G通信系统的一个主要范式转变是深入感知和通信的整合，旨在提高频谱效率并降低硬件成本。多模态感知-通信整合促进了各种6G应用的发展，例如人群计数和识别、自动驾驶汽车以及区域地图重建，在这些应用中，广泛部署的多模态传感器和通信设备发挥着重要作用。M3SC数据集是一个综合数据集，旨在支持6G集成感知-通信研究，它由北京大学先进光通信系统与网络国家重点实验室的研究人员开发。该数据集通过AirSim和WaveFarer收集多模态传感数据，并通过Wireless InSite收集通信数据，涵盖了各种天气条件、不同的频率波段和不同时间段的日间变化。M3SC数据集包含1500个快照，包括80个RGB图像、160个深度图、80个LiDAR点云、256个毫米波波形和8个雷达点云，以及每个快照的72个信道脉冲响应（CIR）矩阵，总计120,000个RGB图像、240,000个深度图、120,000个LiDAR点云、384,000个毫米波波形和12,000个雷达点云，以及108,000个CIR矩阵。数据集处理结果呈现了多模态传感信息和通信信道统计特性，为6G集成感知-通信研究提供了重要的数据支持。

当前挑战

M3SC数据集在构建过程中面临着多方面的挑战。首先，在领域问题方面，集成感知和通信系统需要解决的是如何将感知和通信功能深度整合，以实现频谱效率的提高和硬件成本的降低。其次，在构建过程中，M3SC数据集面临的主要挑战包括：1）深入整合感知和通信功能，确保AirSim和WaveFarer能够满足通信需求，如收集空间、空中、地面和海面的环境信息，同时Wireless InSite能够满足感知需求，如准确模拟每个物体的运动和生成雨雪环境；2）精确对齐物理空间和电磁空间，确保AirSim和WaveFarer中的物理空间与Wireless InSite中的电磁空间在场景尺寸、物体位置和天气条件等方面保持一致。通过克服这些挑战，M3SC数据集为6G集成感知-通信研究提供了高质量的数据支持。

常用场景

经典使用场景

M3SC数据集作为混合多模态（MMM）传感与通信集成的通用数据集，其经典的使用场景在于支持6G集成传感通信系统的研发。该数据集涵盖了多种天气条件、频率波段和不同时间段，能够为6G集成传感通信研究提供丰富的多模态传感信息和通信信道统计特性。M3SC数据集包含了1500个快照，其中包括80张RGB图像、160张深度图、80个LiDAR点云、256套毫米波波形以及72个信道冲激响应（CIR）矩阵，总计120,000张RGB图像、240,000张深度图、120,000个LiDAR点云、384,000套毫米波波形和12,000个雷达点云以及108,000个CIR矩阵。这些数据能够支持多模态传感通信集成应用，如自动驾驶车辆、区域地图重建等，为6G通信系统的发展提供有力支撑。

实际应用

M3SC数据集在实际应用中具有广泛的应用前景。在自动驾驶领域，M3SC数据集可以用于训练和测试感知算法，提高自动驾驶车辆在不同天气和道路条件下的感知准确性和鲁棒性。在通信领域，M3SC数据集可以支持新型波形设计，通过利用物理空间和电磁空间之间的相关性，实现传感与通信的相互促进，提升通信系统的性能。此外，M3SC数据集还可以用于信道建模、感知增强等研究，为6G通信系统的发展提供有力支撑。

衍生相关工作

M3SC数据集的提出和开发，衍生了一系列相关的经典工作。例如，基于M3SC数据集，研究人员可以开发新的信道建模方法，探索物理空间和电磁空间之间的对应关系，并通过深度学习算法获取对象参数和簇参数之间的复杂相关性。此外，M3SC数据集还可以用于支持新型波形设计，通过利用多模态传感信息和精确的实时信道信息，实现传感与通信的深度融合，提升通信系统的性能。此外，M3SC数据集还可以用于感知增强研究，通过利用同步的多模态和多车辆传感数据，提高感知系统的准确性和鲁棒性。