SynthSoM

SynthSoM数据集是由北京大学等研究机构开发的用于机器联觉（SoM）研究的合成智能多模态感知-通信数据集。该数据集涵盖了多种空-地多链路协作场景，包含多种天气条件、时间、智能体密度、频段和天线类型。数据集包含射频通信数据（如373K组信道矩阵和104K组路径损耗）、毫米波雷达感知数据（如230K组雷达波形和61K组雷达点云）以及非射频感知数据（如455K张RGB图像、891K张深度图和241K组LiDAR点云）。数据集的创建基于一个集成了AirSim、WaveFarer和Wireless InSite的仿真平台，并通过基于统计的定性检查和机器学习评估指标进行了验证。该数据集旨在为SoM相关算法的交叉比较、模型校准和基线实现提供一致的数据支持。The SynthSoM dataset is a synthetic intelligent multimodal perception-communication dataset developed by Peking University and other research institutions for machine synesthesia (SoM) research. This dataset covers various air-ground multi-link collaboration scenarios, and includes diverse weather conditions, times, agent densities, frequency bands and antenna types. The dataset contains radio frequency (RF) communication data (e.g., 373K channel matrix sets and 104K path loss sets), millimeter-wave radar perception data (e.g., 230K radar waveform sets and 61K radar point cloud sets), and non-RF perception data (e.g., 455K RGB images, 891K depth maps and 241K LiDAR point cloud sets). The dataset was created based on a simulation platform integrating AirSim, WaveFarer and Wireless InSite, and validated through statistical-based qualitative checks and machine learning evaluation metrics. This dataset aims to provide consistent data support for cross-comparison of SoM-related algorithms, model calibration and baseline implementation.

搜集汇总

数据集介绍

构建方式

SynthSoM数据集的构建基于一个创新的仿真平台，该平台集成了AirSim、WaveFarer和Wireless InSite三款高精度软件，并实现了它们的深度集成与精确对齐。通过这一平台，研究人员能够模拟多种空-地多链路协作场景，涵盖不同的天气条件、时间、智能体密度、频段和天线类型。数据生成过程包括高保真场景构建、综合场景条件模拟、动态场景生成以及数据收集与导出四个步骤，确保了数据的多样性和精确性。

特点

SynthSoM数据集的特点在于其多模态数据的丰富性，涵盖了射频通信、毫米波雷达感知以及非射频感知数据（如RGB图像、深度图和LiDAR点云）。数据集包含373K组信道矩阵、104K组路径损耗、230K组毫米波雷达波形、61K组雷达点云、455K张RGB图像、891K张深度图和241K组LiDAR点云。此外，数据集还通过基于统计的定性检查和机器学习评估指标进行了技术验证，确保了其与真实世界数据的一致性。

使用方法

SynthSoM数据集的使用方法包括下载数据集并根据不同场景和条件进行数据加载。数据集按场景分为五个文件夹，每个文件夹包含不同的条件和数据模态。研究人员可以根据具体任务需求，选择相应的数据进行算法验证、模型校准和基线实现。数据集支持多种文件格式（如txt、mat、png、pfm、csv），便于数据处理和分析。此外，数据集的开源特性使得研究人员可以自由访问和使用，进一步推动了机器感知与通信集成领域的研究。

背景与挑战

背景概述

SynthSoM数据集是由北京大学电子学院先进光通信系统与网络国家重点实验室的研究团队于2025年提出的，旨在为机器联觉（Synesthesia of Machines, SoM）研究提供多模态感知与通信的合成数据集。该数据集通过集成AirSim、WaveFarer和Wireless InSite三款高精度软件，构建了一个涵盖多种天气条件、时间段、智能体密度、频段和天线类型的空-地多链路协作场景。SynthSoM数据集包含了射频通信、毫米波雷达感知以及非射频感知（如RGB图像、深度图和LiDAR点云）等多种数据模态，为6G时代的人工智能物联网（AIoT）研究提供了重要的数据支持。该数据集的发布填补了现有数据集在多模态感知与通信集成方面的空白，推动了SoM相关算法的跨比较、模型校准和基线实现。

当前挑战

SynthSoM数据集在构建过程中面临了多方面的挑战。首先，在领域问题方面，现有的多模态感知与通信数据集（如KITTI、DeepSense 6G等）往往缺乏全面的通信和多模态感知数据，难以满足SoM研究的需求。SynthSoM数据集通过集成多种数据模态，解决了这一领域问题，但其构建过程需要克服数据对齐和一致性的技术难题。其次，在数据集构建过程中，研究团队需要实现AirSim、WaveFarer和Wireless InSite三款软件的高精度集成与对齐，确保不同软件生成的场景和条件在时间和空间上的一致性。此外，数据集还需涵盖多种复杂场景和条件，如不同天气、时间段和智能体密度，这对数据生成的多样性和真实性提出了更高要求。最后，数据集的验证需要通过基于统计的定性检查和基于机器学习的评估指标，确保其与真实世界测量数据的一致性，这进一步增加了数据集构建的复杂性。

常用场景

经典使用场景

SynthSoM数据集在智能多模态感知-通信集成研究中具有广泛的应用场景。其经典使用场景包括无人机与车辆协同的空中-地面多链路通信场景，涵盖城市、郊区和山区等多种环境。通过模拟不同天气条件、时间段、智能体密度、频段和天线类型，SynthSoM为研究人员提供了丰富的多模态数据，包括射频通信、毫米波雷达感知和非射频感知数据，如RGB图像、深度图和LiDAR点云。这些数据为算法验证和模型训练提供了坚实的基础。

衍生相关工作

SynthSoM数据集的发布推动了智能多模态感知-通信集成领域的多项经典工作。基于该数据集，研究人员开发了多种先进的算法和模型，如基于深度学习的多模态数据融合算法、通信信道预测模型和智能体协同控制策略。此外，SynthSoM还为相关领域的基准测试提供了统一的数据平台，促进了不同算法之间的公平比较。该数据集的开放性和高质量使其成为智能多模态感知-通信集成研究的重要基石，推动了该领域的快速发展。

数据集最近研究

最新研究方向

随着第六代移动通信技术（6G）和人工智能物联网（AIoT）的快速发展，多模态感知与通信的融合成为研究热点。SynthSoM数据集作为首个面向机器联觉（SoM）的合成多模态感知-通信数据集，填补了现有数据集在通信与多模态感知数据整合方面的空白。该数据集通过集成AirSim、WaveFarer和Wireless InSite三款高精度软件，实现了多模态数据的深度整合与精确对齐，涵盖了多种天气条件、时间、智能体密度、频段和天线类型等复杂场景。SynthSoM不仅包含射频通信、毫米波雷达感知数据，还整合了RGB图像、深度图和LiDAR点云等非射频感知数据，为SoM相关算法的交叉验证、模型校准和基准实现提供了高质量的数据支持。其开放性和广泛的应用前景使其成为6G和AIoT领域的重要研究工具，推动了多模态感知与通信融合技术的进一步发展。

相关研究论文

• SynthSoM: A synthetic intelligent multi-modal sensing-communication dataset for Synesthesia of Machines (SoM)

  北京大学先进光通信系统与网络国家重点实验室, 山东大学-南洋理工大学人工智能联合研究中心, 东南大学国家移动通信研究实验室 · 2025年