多模态语义通信系统架构数据集

针对如何从多模态信源中高效提取语义共性和个性特征，实现面向语义的自适应传输问题展开研究。基于python等仿真环境对项目指标进行仿真，分别记录了基于VoxCeleb的人脸语音对齐裁剪片段仿真数据、基于丢失模态的多模态语义通信方法仿真数据、面向视频会议的音频辅助视频编码方法仿真数据、音频辅助的生成式人脸视频编码方法仿真数据、面向语义的无线通信仿真数据、基于语义码本的语义通信重传系统仿真数据、多模态语义通信点云传输仿真数据、多模态语义通信仿真系统业务与环境动态适配能力第三方测试数据和多模态信源压缩率提升第三方测试数据，数据量约24GB。

搜集汇总

背景与挑战

背景概述

该数据集针对多模态语义通信系统架构，通过Python等仿真环境研究了从多模态信源中高效提取语义共性与个性特征以实现自适应传输的问题。数据包含人脸语音对齐、丢失模态通信、音频辅助视频编码、语义重传、点云传输等多种仿真场景，以及第三方测试数据，总数据量约24.58GB，共2511个文件，涵盖mp4、xlsx、txt等多种格式。