Multimodal-Wireless

Multimodal-Wireless是一个开源的多模态感知数据集，专为无线通信研究而设计。该数据集基于CARLA模拟器和Sionna框架的集成和可定制数据管道生成，包含约160,000帧数据，涵盖四个虚拟城镇、十六种通信场景和三种天气条件，包括多种传感模态：通信信道、激光雷达、RGB和深度相机、惯性测量单元和雷达。数据集的创建过程包括在CARLA中执行场景和数据采集、在Blender中重建场景、以及在Sionna中生成信道。该数据集适用于通信和协同感知的研究，例如使用多模态大型语言模型进行波束预测。

Multimodal-Wireless is an open-source multimodal perception dataset specifically designed for wireless communications research. Generated via an integrated and customizable data pipeline built upon the CARLA simulator and Sionna framework, this dataset contains approximately 160,000 frames spanning four virtual towns, sixteen communication scenarios, and three weather conditions, and encompasses multiple sensing modalities including communication channels, LiDAR, RGB and depth cameras, inertial measurement units (IMUs), and radar. The dataset creation process includes scene execution and data collection in CARLA, scene reconstruction in Blender, as well as channel generation in Sionna. This dataset is applicable to research on communications and collaborative perception, such as beam prediction using multimodal large language models (LLMs).

原始信息汇总

Multimodal-Wireless 数据集概述

数据集简介

Multimodal-Wireless 是一个开源的、面向通信与协同感知研究的多模态感知数据集，通过基于 CARLA 模拟器和 Sionna 框架构建的集成可定制数据流水线生成。

数据集规模

• 总帧数：161,400 帧
• 覆盖范围：4 个虚拟城镇、16 个通信场景、3 种天气条件

数据模态

• 通信信道
• LiDAR
• RGB 和深度相机
• IMU
• 雷达
• 边界框

技术规格

• 采样频率：100 Hz
• 信道采样：100 Hz 采样，适用于多样化应用
• 传感器数据：100 Hz 过采样，时间对齐，可轻松降采样供实际使用

特性优势

• 全天气适应能力
• 完全灵活性和可扩展性，仅需修改配置文件
• 车联网通信与感知的统一资源

引用方式

bibtex @article{mao2025mmw, title = {Multimodal-Wireless: A Large-Scale Dataset for Sensing and Communication}, author={Tianhao Mao and Le Liang and Jie Yang and Hao Ye and Shi Jin and Geoffrey Ye Li}, journal={arXiv preprint arXiv:2511.03220}, year={2025} }

资源链接

• 论文：https://le-liang.github.io/mmw/
• 代码/资源：https://le-liang.github.io/mmw/
• 数据集下载：
  • 全球（OneDrive）：https://le-liang.github.io/mmw/
  • 中国大陆镜像：https://le-liang.github.io/mmw/
• 复现/扩展：
  • 教程视频：https://le-liang.github.io/mmw/
  • 中国大陆镜像：https://le-liang.github.io/mmw/

搜集汇总

数据集介绍

构建方式

在无线通信研究领域，Multimodal-Wireless数据集通过构建跨平台数据生成流水线实现多模态数据采集。该流程基于CARLA自动驾驶模拟器定义动态交通场景，利用Blender进行场景重建与电磁材料映射，最后通过Sionna射线追踪引擎生成多径信道数据。整个系统采用配置驱动架构，支持在四个虚拟城镇中设置十六种通信场景和三种天气条件，确保所有传感器数据在时空维度上严格同步。

使用方法

研究人员可通过修改配置文件灵活定制通信场景参数，包括天线阵列配置、载波频率和子载波间隔等关键通信参数。数据集提供的Python工具函数支持用户基于原始路径参数生成自定义频域信道，适用于单载波与多载波系统仿真。该资源特别适用于车联网通信与协同感知的交叉研究，既能用于传统波束预测任务，也可支撑物理层与MAC层的创新算法验证。

背景与挑战

背景概述

随着未来通信系统向大规模天线阵列、高频段和宽带宽演进，多输入多输出系统的性能高度依赖于波束精确对准，这推动了环境感知通信的发展。由东南大学、帝国理工学院等机构联合开发的Multimodal-Wireless数据集于2025年发布，通过整合CARLA仿真器与Sionna射线追踪框架，构建了包含16万帧数据的多模态传感资源。该数据集首次实现了通信信道与激光雷达、深度相机等五种传感模态的百赫兹级同步采集，并通过涵盖晴天、雨雾等气象条件，为车联网通信与协同感知研究提供了统一基准。

当前挑战

在解决环境感知通信领域问题时，该数据集需应对多模态数据时空对齐的复杂性，特别是在动态场景下保持传感流与通信信道的微秒级同步。构建过程中面临三大挑战：跨平台数据融合需通过Blender桥接CARLA与Sionna的物理引擎，确保电磁特性与视觉场景的一致性；气象模拟需精确建模米氏散射对激光雷达的干扰；材料电磁参数赋值需遵循ITU-R标准以保障射线追踪的物理准确性。

常用场景

解决学术问题

该数据集有效解决了车联网研究中多模态数据同步缺失的核心难题。传统数据集往往割裂了感知与通信两大领域，而Multimodal-Wireless通过精密的时间对齐机制，实现了信道状态信息与五种传感器数据的完全同步。这一突破性设计使得研究人员能够深入探究环境感知对通信性能的影响机制，特别是在非视距传播、动态阻塞等复杂场景下。数据集提供的全天气条件覆盖更进一步推动了鲁棒性通信算法的研究，为应对真实世界中的气象干扰提供了重要数据基础。

实际应用

在实际应用层面，Multimodal-Wireless为智能交通系统的演进提供了关键数据支撑。其包含的车辆到基础设施和车辆到车辆通信场景，直接服务于自动驾驶协同感知系统的开发。通过融合激光雷达点云与毫米波信道特性，该系统能够实现更精准的障碍物检测与轨迹预测。特别是在城市峡谷、多径丰富的复杂环境中，数据集提供的同步多模态数据为通信感知一体化技术的落地提供了验证平台，显著提升了智能网联汽车在恶劣天气条件下的运行可靠性。

数据集最近研究

最新研究方向

在无线通信与多模态感知融合领域，Multimodal-Wireless数据集正推动环境感知通信的前沿探索。其高精度同步的通信信道状态信息与激光雷达、相机等多模态数据，为基于多模态大语言模型的波束预测研究提供了全新范式。该数据集通过模拟复杂城市场景与恶劣天气条件，显著增强了智能交通系统中车联网通信的鲁棒性，同时其可扩展架构支持研究者定制化开发物理层与协同感知算法。这一突破性资源将加速通信感知一体化技术在6G系统中的实际部署，为自动驾驶与智能基础设施的协同演进奠定数据基石。

相关研究论文

• Multimodal-Wireless: A Large-Scale Dataset for Sensing and Communication

  东南大学信息科学与工程学院, 南京 210096, 中国 · 2025年