UniMM-HAR

UniMM-HAR是最大且首个用于异构多源场景的毫米波点云人类动作识别数据集，标准化了三种不同的雷达配置，以现实评估跨源泛化能力，旨在解决现有数据集规模有限且主要在单一同源设置下收集的问题。

UniMM-HAR is the largest and first-of-its-kind dataset for millimeter-wave point cloud-based human action recognition in heterogeneous multi-source scenarios. It standardizes three distinct radar configurations to realistically evaluate cross-source generalization capability, aiming to address the limitations of existing datasets, which typically have limited scales and are mostly collected under single-source homogeneous settings.

原始信息汇总

数据集概述：UniMM-HAR

UniMM-HAR 是目前规模最大、首个面向异构多源毫米波雷达场景的点云人体动作识别（HAR）数据集，旨在解决由不同设备和频段等异构雷达源导致的分布偏移问题。

数据集核心特性

• 规模与多样性：整合了三个公开数据集（RadHAR、mRI、MM-Fi），是当前最大的毫米波点云HAR数据集。
• 异构多源场景：包含三种不同的雷达配置（不同设备、不同频段），用于真实评估跨源泛化能力。
• 标准化处理：对来自不同源的数据进行了统一格式处理（NPZ文件），并提供了标准化的数据划分规则。

数据获取

• 用途限制：当前仅用于学术研究。
• 获取方式：通过邮件申请，联系邮箱为 [e-mail]。
• 申请信息：需在邮件中提供姓名、所属机构/组织、国家、研究目的以及导师信息（针对学生或博士后）。

数据集构建

• 基础来源：
  • RadHAR
  • mRI
  • MM-Fi
• 预处理流程：
  1. 下载原始数据集。
  2. 使用对应脚本生成CSV文件（RadHAR2csv.py、mRI2csv.py、MMFI2csv.py）。
  3. 生成NPZ文件（makenpz.py）。
  4. 可选：使用makenpz_normal.py进行归一化处理。
  5. 按论文所述规则划分训练/测试集。

数据命名规则

文件名格式示例：D001A001E001P001S0001

• D：数据集标识符
• A：动作类别
• E：采集环境
• P：参与者编号
• S：样本编号

若原始数据集缺少某些字段，对应部分可省略。

数据集目录结构

UniMM-HAR/ ├── CSub/ # 跨主体子集 │ ├── train/ │ └── test/ ├── CSet/ # 跨模态/配置子集 │ ├── train/ │ └── test/ └── All/ # 全量数据（按来源组织） ├── MMFI/ ├── RadHAR/ └── mRI/

动作类别（共33类）

编号	动作	编号	动作
0	walk	17	twist right
1	jump	18	twist left
2	squat	19	mark time
3	stretch	20	extend both limbs
4	jumping jack	21	raise left hand
5	box	22	raise right hand
6	extend left upper limb	23	wave left hand
7	extend right upper limb	24	wave right hand
8	extend both upper limbs	25	pick up object
9	left front lunge	26	throw left
10	right front lunge	27	throw right
11	left side lunge	28	kick left
12	right side lunge	29	kick right
13	extend left limb	30	extend left body
14	extend right limb	31	extend right body
15	expand chest horizontally	32	bow
16	expand chest vertically

配套方法：DAP-Net

• 全称：Doppler-aware Point Cloud Network（多普勒感知点云网络）。
• 核心模块：
  • D2R（Dual-space Doppler Reparameterization）：在双空间进行多普勒重参数化，实现样本自适应的几何密集化与多普勒引导的特征校准。
  • TAM（Text Alignment Module）：通过预训练文本空间提供稳定的语义锚点，进行跨模态对齐。
• 目标：学习源不变的动作语义，提升异构雷达场景下的动作识别性能与跨源鲁棒性。
• 性能：在异构雷达设置下显著优于现有方法，达到最先进水平。

搜集汇总

数据集介绍

构建方式

UniMM-HAR数据集是针对毫米波雷达异构多源场景下人体动作识别任务所构建的迄今规模最大的点云数据集。其构建过程有机整合了来自RadHAR、mRI与MM-Fi三个公开数据集的原始毫米波点云数据，通过统一的数据预处理流水线，包括将原始数据转换为CSV格式并进一步封装为NPZ文件，实现对不同设备及频段采集数据的标准化。数据集遵循严谨的命名规则，通过唯一标识符编码数据来源、动作类别、采集环境、参与者及样本序号，并以交叉场景与交叉子集的划分策略进行训练与测试集组织，旨在真实评估模型在异构雷达源间的泛化能力。

特点

UniMM-HAR的核心特点体现在其前所未有的异构多源属性与丰富动作类别覆盖。数据集囊括了三种截然不同的毫米波雷达配置，从而在源层面引入了显著的分布偏移，为研究跨设备、跨频段的域泛化问题提供了坚实基线。涵盖33种精细动作类别，包括日常行走、跳跃及各类肢体伸展与专项运动，动作维度丰富。此外，数据集支持交叉子集与交叉场景两种评估协议，可系统性评测模型对参与者及环境变化的鲁棒性，为毫米波雷达人体动作识别领域的研究提供了标准化且富有挑战性的基准。

使用方法

使用者需先获取原始数据集源文件，随后运行提供的预处理脚本，依次通过Python程序生成CSV与NPZ文件，并可选择执行归一化操作。数据加载由定制化的数据集加载器（ours_sk_normal.py）完成，配合PyTorch框架下的DataLoader高效迭代。训练与评估全程通过统一的main.py入口脚本运行，简化操作流程。数据集内部按CSub、CSet和All三个目录组织，分别对应交叉子集、交叉场景及全量数据任务，便于研究者根据实验需求灵活选取相应划分。

背景与挑战

背景概述

毫米波雷达凭借其隐私保护特性，在人体动作识别领域展现出独特优势。然而，现有毫米波点云数据集受限于单源同构采集环境，规模较小且难以应对异构雷达源引发的实际分布偏移。为突破这一瓶颈，北京大学等机构的研究人员于2025年构建了UniMM-HAR数据集，这是首个面向异构多源场景的大规模毫米波点云人体动作识别数据集。该数据集整合了三种不同雷达配置，系统评估跨源泛化性能，为研究源不变动作语义学习提供了标准化基准。其提出的基于多普勒感知的点云网络显著提升了异构雷达环境下的识别精度，对推动毫米波感知在实际场景中的部署具有重要影响力。

当前挑战

UniMM-HAR所解决的领域核心挑战在于异构雷达源导致的特征分布偏移，不同设备和频段使现有方法泛化能力显著下降。构建过程中面临多重困难：首先需整合RadHAR、mRI和MM-Fi三种异构数据集，统一其命名规则、坐标系和采样频率；其次要确保跨数据集动作类别对齐，最终涵盖32类精细动作；此外需设计合理的跨子集划分策略（CSub、CSet和All）以评估跨源泛化能力。数据预处理中还需解决点云稀疏性、多普勒噪声和时序不一致等技术难题，为后续算法研究奠定坚实基础。

常用场景

经典使用场景

UniMM-HAR数据集专为异构毫米波雷达点云的人体动作识别（HAR）任务而设计。其经典使用场景涵盖跨设备、跨频段的多源雷达环境，通过整合RadHAR、mRI与MM-Fi三个子数据集，标准化了三种截然不同的雷达配置，使得研究者能够在统一框架下评估模型对异构雷达源的泛化能力。该数据集包含32类精细动作，涵盖上肢、下肢及躯干运动，适用于多视角、多参与者的真实场景，为毫米波HAR研究提供了迄今为止规模最大、异构性最强的基准平台。

解决学术问题

该数据集有效解决了现有毫米波点云数据集规模小、来源单一导致的分布偏移问题。在学术研究中，它填补了缺乏统一异构基准的空白，使得跨源域适应、域泛化等课题得以在真实条件下深入探索。UniMM-HAR的提出挑战了传统HAR方法对同构数据的依赖，推动了动作语义不变性表征的学术研究，其标准化流程为未来多源融合、隐私保护感知等方向奠定了方法论基础，显著提升了毫米波雷达在人体分析领域的科学价值与影响力。

衍生相关工作

围绕UniMM-HAR数据集，衍生出多项经典工作，其中最具代表性的是其配套提出的DAP-Net（Doppler-aware Point Cloud Network）。DAP-Net通过双空间多普勒重参数化（D2R）模块实现样本自适应的几何致密化和特征重校准，并结合文本对齐模块（TAM）利用预训练语义空间提供稳定锚点，在异构雷达设定下显著超越现有方法。此外，该数据集还催生了跨源域适应、多模态融合等方向的研究，推动了点云HAR领域从单源到多源的范式转变。