Multi-Modal-and-Distributed-mmWave-ISAC-Datasets-for-Human-Sensing

该存储库提供了一个基于PyTorch的框架，用于在各种毫米波ISAC数据集上训练和评估深度学习模型，包括手势识别、姿态估计、定位和步态识别。它支持分类和回归任务，并在适用时包括背景减除选项。支持多个数据集：mmWGesture – 毫米波手势识别（分类）、5GmmGesture – 5G毫米波手势识别（分类）、mmWPose – 毫米波骨骼姿态估计（回归）、DISAC-mmVRPose – 基于VR的毫米波姿态估计（回归）、mmW-Loc – 毫米波定位（带可选背景减除，分类）、mmW-GaitID – 毫米波步态识别（带可选背景减除，分类）。

This repository provides a PyTorch-based framework for training and evaluating deep learning models across various millimeter-wave ISAC datasets, including gesture recognition, pose estimation, localization, and gait recognition. It supports both classification and regression tasks, with optional background subtraction where applicable, and encompasses multiple datasets: mmWGesture – millimeter-wave gesture recognition (classification), 5GmmGesture – 5G millimeter-wave gesture recognition (classification), mmWPose – millimeter-wave skeletal pose estimation (regression), DISAC-mmVRPose – VR-based millimeter-wave pose estimation (regression), mmW-Loc – millimeter-wave localization (with optional background subtraction, classification), and mmW-GaitID – millimeter-wave gait recognition (with optional background subtraction, classification).

原始信息汇总

数据集概述

数据集名称

Multi-Modal-and-Distributed-mmWave-ISAC-Datasets-for-Human-Sensing

数据集类型

多模态分布式毫米波ISAC（集成传感与通信）数据集

主要用途

人类感知任务，包括手势识别、姿态估计、定位和步态识别

支持的数据集

• mmWGesture：毫米波手势识别（分类任务）
• 5GmmGesture：5G毫米波手势识别（分类任务）
• mmWPose：毫米波骨骼姿态估计（回归任务）
• DISAC-mmVRPose：基于VR的毫米波姿态估计（回归任务）
• mmW-Loc：毫米波定位（分类任务，支持可选背景减除）
• mmW-GaitID：毫米波步态识别（分类任务，支持可选背景减除）

框架特性

• 基于PyTorch的深度学习框架
• 支持分类和回归任务
• 通用ResNet18架构，具有灵活的输入通道
• 支持交叉熵损失（CrossEntropyLoss）和均方误差损失（MSELoss）

使用方式

通过运行python main.py启动训练和评估

搜集汇总

数据集介绍

构建方式

在毫米波集成感知与通信技术领域，该数据集通过多模态分布式采集系统构建，涵盖手势识别、姿态估计、定位与步态识别等多类任务。数据采集采用毫米波雷达与5G通信设备协同工作，在受控环境中捕捉人体动态活动的高分辨率点云与信号数据，并经过时空同步与信号预处理，确保多源数据的对齐与一致性。

特点

该数据集的核心特点在于其多模态与分布式架构，融合毫米波雷达点云、5G信号及虚拟现实辅助数据，支持分类与回归双任务范式。其泛化能力突出，涵盖室内外多种场景，并提供背景减除选项以增强信噪比。数据标注涵盖精细的人体动作与空间信息，适用于跨模态感知模型的训练与验证。

使用方法

用户可通过PyTorch框架调用统一接口加载数据集，支持ResNet18等骨干网络的灵活适配。通过配置任务类型（如分类或回归）与输入通道数，可快速实现模型训练与评估。主程序main.py集成了数据加载、预处理及损失计算功能，支持跨数据集对比实验，便于研究者复现与扩展基准结果。

背景与挑战

背景概述

毫米波一体化感知与通信（ISAC）技术作为第六代移动通信系统的核心使能技术，近年来受到学术界与工业界的广泛关注。该数据集由国际知名研究团队于2023年构建，聚焦于多模态分布式毫米波感知场景下的人类行为理解问题。通过融合毫米波雷达点云、通信信道状态信息及视觉辅助数据，为手势识别、姿态估计、定位与步态识别等多任务学习提供支撑，显著推动了无线感知与人工智能的跨学科融合发展。

当前挑战

在领域层面，毫米波感知数据存在固有稀疏性和噪声干扰，如何从低分辨率点云中提取鲁棒特征成为关键挑战。多模态数据时空对齐难题以及分布式节点间的数据融合复杂性，对模型架构设计提出更高要求。在构建过程中，需克服毫米波设备同步校准、多源异构数据标注一致性维护等工程难题，同时需保证大规模实测数据采集过程中电磁环境与人体运动变量的可控性。

常用场景

经典使用场景

在毫米波感知与通信一体化研究领域，该数据集通过融合多模态分布式架构，为人体动作识别与姿态估计提供了标准化基准。研究者可基于毫米波雷达点云数据，结合深度学习框架，实现高精度的手势分类、骨骼关键点回归及步态识别任务，显著推动了无线感知技术的算法验证与性能优化。

衍生相关工作

基于该数据集衍生的经典工作包括融合时空特征的图神经网络手势识别模型、基于注意力机制的毫米波点云去噪算法，以及跨模态协同训练的姿态估计框架。这些研究进一步推动了毫米波ISAC在边缘计算、低功耗感知等方向的创新应用。

数据集最近研究

最新研究方向

在毫米波感知与通信一体化技术领域，分布式多模态毫米波数据集正推动着人机交互与智能感知的前沿探索。当前研究聚焦于融合毫米波雷达点云与视觉信息的多模态学习框架，旨在提升复杂环境下手势识别与姿态估计的鲁棒性。随着元宇宙与智能穿戴设备的兴起，基于毫米波的虚拟现实姿态追踪成为热点，其低延迟高精度的特性为沉浸式交互提供了新范式。同时，分布式传感器网络的协同感知研究显著推进了多人定位与步态识别技术的实际部署，对智慧医疗、安防监控等领域产生了深远影响，为下一代感知通信融合系统奠定了数据基石。