mmWaveX

mmWaveX是一个多模态CSI数据集，由IDLab, University of Antwerp – imec创建，用于基于步态的个体识别研究。数据集包含20名参与者在室内环境中同时记录的5GHz和60GHz频率的CSI数据，用于比较和分析不同频段Wi-Fi信号在个体识别中的性能。数据集的收集和同步处理确保了不同频段数据的一致性和可比性，为研究mmWave Wi-Fi在个体识别中的应用提供了重要的数据支持。mmWaveX is a multimodal CSI dataset developed by IDLab, University of Antwerp – imec, for gait-based individual recognition research. This dataset includes CSI data simultaneously collected at 5GHz and 60GHz frequencies from 20 participants in an indoor environment, enabling the comparison and analysis of Wi-Fi signal performance across different frequency bands in individual recognition tasks. Standardized data collection and synchronous processing workflows ensure the consistency and comparability of cross-band data, providing critical empirical data support for research on the application of mmWave Wi-Fi in individual recognition.

原始信息汇总

mmHSense: Multi-Modal and Distributed mmWave ISAC Datasets for Human Sensing

数据集概述

mmHSense是一个用于毫米波集成感知与通信研究的综合数据集集合，包含六个标注数据集，旨在推动手势识别、姿态估计、人员识别和定位等人类感知应用的研究。

数据集详情

数据集组成

• mmWGesture: 基于商用毫米波Wi-Fi的手势识别数据集
• mmWPose: 基于商用毫米波Wi-Fi的全身姿态估计数据集
• 5GmmGesture: 基于定制5G毫米波硬件的手势识别数据集
• DISAC-mmVRPose: 用于VR姿态估计和分布式感知的多静态设置数据集
• mmW-Loc: 基于4×5空间网格的定位指纹数据集
• mmW-GaitID: 基于步态的人员识别数据集

技术规格

数据集	硬件	信号特征	采样率(Hz)	任务	参与者数量	标签类型	技术标准	辅助模态	样本数量	持续时间(分钟)
mmWGesture	Talon-AD7200	波束SNR	10	手势识别	3	10类	IEEE 802.11ad	5GHz CSI	854	220
mmWPose	wAP60Gx3	CSI幅度	22	姿态估计	3	回归	IEEE 802.11ad	Kinect骨架	2904	110
mmW-GaitID	wAP60Gx3	CSI幅度	10	人员识别	20	8类	IEEE 802.11ad	5GHz CSI	1318	40
mmW-Loc	wAP60Gx3	CSI幅度	10	定位	20	20类	IEEE 802.11ad	5GHz CSI	1318	60
5GmmGesture	Sivers EVK06002	PPBP	1540	手势识别	8	8类	5G NR	无	34,496	72
DISAC-mmVRPose	Sivers EVK06002	CIR	2775	姿态估计	8	回归	IEEE 802.11ay	Kinect骨架	32,480	14

数据格式与使用

• 所有数据集均以.pth格式提供
• 支持Python直接加载：import torch; data = torch.load("file_name")
• 文件命名遵循特定约定，包含环境和用户标识

数据集特点

• 支持多模态传感器融合研究
• 包含双静态、多静态和分布式配置
• 同时采集60GHz和5GHz Wi-Fi数据用于跨频比较
• 提供同步的Kinect骨架数据作为地面真值
• 支持深度学习、跨域泛化和分布式感知研究

引用信息

DOI: 10.21227/s6ze-xp91
数据集文件: mmHSense.zip (101.79 GB)
访问要求: 需要IEEE DataPort订阅

资助信息

资助机构: Fonds Wetenschappelijk Onderzoek
资助编号: G034322N

搜集汇总

数据集介绍

构建方式

在集成感知与通信技术蓬勃发展的背景下，mmHSense数据集的构建采用了多模态与分布式架构，通过商业现成设备与定制化实验平台相结合的方式采集数据。具体而言，数据集利用IEEE 802.11ad、802.11ay及5G新空口毫米波正交频分复用信号，在双静态与多静态部署中提取信道状态信息、波束信噪比和每波束功率等关键特征。数据采集覆盖西班牙、比利时和瑞典等多个地理环境，确保了场景多样性，并通过同步视觉传感器（如Kinect）提供姿态真值标注，实现了无线信号与多模态数据的精准对齐。

特点

mmHSense的突出特点在于其全面性与实用性。数据集涵盖手势识别、姿态估计、人员定位与身份识别四大任务，融合了毫米波、Sub-6GHz Wi-Fi及视觉模态，支持跨模态学习研究。其分布式架构突破传统单收发器限制，通过四接收器配置增强空间感知鲁棒性。此外，数据集首次引入5G毫米波正交频分复用波形数据，为第六代移动通信研究提供前瞻性基准。用户与环境的高度多样性，以及自然交互场景的纳入，进一步提升了数据集的现实代表性。

使用方法

针对实际研究需求，mmHSense支持端到端深度学习流程，原始信号特征可直接输入神经网络模型，无需复杂预处理。研究者可基于信道状态信息或波束功率网格开发分类、回归或跨模态生成任务。数据集特别适配参数高效微调技术，例如低秩适应方法，能在保留原有任务性能的同时显著降低计算开销。其多接收器数据还可用于分布式推理框架验证，为边缘设备部署提供可行性分析依据，推动集成感知与通信技术在资源受限场景中的落地应用。

背景与挑战

背景概述

毫米波集成感知与通信技术作为第六代移动通信系统的关键使能技术，通过复用无线通信基础设施实现高精度环境感知。由安特卫普大学与IMDEA研究所联合研发的mmHSense数据集于2025年正式发布，其核心研究目标在于解决毫米波ISAC领域缺乏标准化基准数据的问题。该数据集通过商用Wi-Fi设备与定制化软件定义无线电平台，采集了包含信道状态信息、波束信噪比等多模态信号特征，覆盖手势识别、姿态估计等典型人机交互场景，为推进感知通信一体化研究提供了重要数据支撑。

当前挑战

在技术层面，该数据集需应对跨用户泛化难题，实验表明当模型迁移至新用户时识别准确率可能下降至54%；在数据构建过程中，需克服毫米波设备高成本与信号采集复杂性，同时解决多接收器分布式系统的时空同步问题。此外，感知任务与通信资源的动态博弈、多模态数据融合的语义对齐，以及面向边缘设备的轻量化模型适配，均为亟待突破的核心挑战。

常用场景

经典使用场景

在集成感知与通信（ISAC）系统中，毫米波技术凭借其高带宽和大规模天线阵列特性，为精细人类感知提供了理想平台。mmHSense数据集通过整合多模态信号特征，如信道状态信息、波束信噪比和波束功率，成为手势识别、姿态估计、人员定位和身份识别等经典任务的基准资源。其分布式部署与多视角数据采集机制，有效克服了传统单收发器系统的视距限制，为复杂环境下的感知算法开发奠定了坚实基础。

实际应用

在扩展现实场景中，该数据集支撑的毫米波感知系统可实现无外部摄像头的实时姿态追踪，显著提升虚拟交互的自然度与便携性。智能家居领域通过复用Wi-Fi路由器的通信信号，实现了非侵入式手势控制与人员定位功能。自动驾驶系统则借助其高精度定位能力增强环境感知可靠性，这些应用充分体现了ISAC技术复用现有通信基础设施的成本优势与部署便利性。

衍生相关工作

基于该数据集衍生的经典研究包括采用ResNet架构的端到端手势分类模型，在5G毫米波波束功率网格上取得97.75%的识别精度。分布式感知框架通过四接收器协同实现了6.2厘米关节点定位误差，达到与视觉系统相当的性能水平。时序卷积网络与PoolFormer结合低秩自适应的方法，更开创了资源受限设备上多任务持续学习的新范式，为边缘智能部署提供了重要技术参考。