mmWave-gesture-dataset

该数据集是目前首个毫米波手势数据集，具有以下特点：包含短距离（人雷达距离小于0.5米）和长距离（2米至5米）两种场景；数据量大，总计56,420条记录，时长1,357分钟；涉及144人（包括64名男性和80名女性）；数据类型多样，不仅包括PRM信息，还有原始信号数据、原始距离-多普勒图像和SEP云；研究范围广泛，不仅直接感知，还包括在特定障碍物（如纸张、瓦楞纸、金属板）下的感知。

This dataset represents the first millimeter-wave gesture dataset, characterized by the following features: it includes both short-range (human-radar distance less than 0.5 meters) and long-range (2 to 5 meters) scenarios; it boasts a substantial volume of data, totaling 56,420 records with a duration of 1,357 minutes; it involves 144 participants (including 64 males and 80 females); it offers a variety of data types, not only PRM information but also raw signal data, original range-Doppler images, and SEP clouds; and it covers a broad research scope, encompassing not only direct perception but also perception under specific obstacles (such as paper, corrugated cardboard, and metal plates).

原始信息汇总

数据集概述

基本信息

• 名称: mmWave-gesture-dataset
• 特点: 首个毫米波手势数据集，具有以下优势：
  • 场景: 包括短距离（人雷达距离<0.5m）和长距离（2m<人雷达距离<5m）两种。
  • 数据量: 包含56,420条记录，总时长1,357分钟。
  • 参与者: 144人（男性64人，女性80人）。
  • 数据类型: 不仅包含PRM信息，还有原始信号数据、原始距离-多普勒图像和SEP云。
  • 研究范围: 不仅直接感知，还包括特定障碍物（如纸张、瓦楞纸、金属板）下的感知。

数据集实现

• 设备: 使用TI-IWR1443单芯片76-81GHz毫米波传感器评估模块。
• 参数设置:
  • 短距离场景:
    • 雷达参数: 4个接收通道，2个发射通道，chirp周期时间400μs，ADC采样率2kHz，接收增益48dB，帧周期55ms，动态点检测使用CFAR-CA，点能量阈值1200dB。
  • 长距离场景:
    • 雷达参数: 4个接收通道，3个发射通道，chirp周期时间158μs，ADC采样率7.5kHz，接收增益42dB，帧周期100ms，动态点检测使用CFAR-CASO，点能量阈值1280dB。

数据集内容

• 短距离场景:
  • 参与者: 131人（男性60人，女性71人）。
  • 数据量: 30,360条记录。
  • 数据类型:
    • PRM信息: 包含44人（男性22人，女性22人）执行5种手势的数据。
    • 其他手势: 包含60人（男性26人，女性34人）执行5种手势和27人（男性12人，女性15人）执行390种意外动作的数据。
    • 距离-多普勒图像: 包含15人（男性8人，女性7人）执行5种手势的数据。
    • 原始信号数据: 包含1人执行10种手势和5人进行英文字母书写的数据。
• 长距离场景:
  • 参与者: 100人（男性44人，女性56人）。
  • 数据量: 26,060条记录。
  • 数据类型:
    • 点云: 包含79人（男性35人，女性44人）执行4种手势和11人（男性5人，女性6人）执行300种意外动作的数据。
    • 原始信号数据: 包含10人（男性4人，女性6人）执行4种手势的数据。

数据格式

• PRM信息: 格式为gesture_name_hand_short_center_sort_number.txt。
• 其他手势: 格式为short_point_id_sort_number.txt。
• 距离-多普勒图像: 格式为short_RD_id_sort_number.mp4。
• 原始信号数据: 格式为short_raw_id_sort_number.mat。
• 点云: 格式为long_point_id_sort.csv。
• 长距离原始信号数据: 格式为long_raw_id_sort_number.mat。

搜集汇总

数据集介绍

构建方式

mmWave-gesture-dataset的构建基于TI-IWR1443单芯片76-GHz至81-GHz毫米波传感器评估模块，采用FMCW（频率调制连续波）信号捕捉人体手势。数据集在短距离和长距离两种场景下分别设置了不同的雷达参数，如接收通道数、发射通道数、啁啾周期时间、ADC采样率等，以适应不同距离的手势识别需求。数据集包含了56,420条手势轨迹，总时长达到1,357分钟，涵盖了144名参与者（包括64名男性和80名女性）的多种手势数据，包括PRM信息、原始信号数据、Range-Doppler图像和SEP云点数据。

使用方法

使用mmWave-gesture-dataset时，研究者可以根据需求选择不同的数据子集。对于特征值序列，数据集提供了手势的10个特征值，这些特征值反映了检测点的总体变化趋势，如总数、速度、距离和到达角度。对于Range-Doppler图像，数据集提供了手势的动态图像，有助于对手势的动态特性进行分析。对于原始信号数据，数据集提供了详细的雷达信号记录，适合进行更深入的信号处理和分析。此外，数据集还提供了示例演示视频，帮助研究者理解和识别不同的手势。

背景与挑战

背景概述

毫米波手势数据集（mmWave-gesture-dataset）是首个专门针对毫米波雷达手势识别的数据集，由一支专注于毫米波雷达技术的研究团队创建。该数据集的构建旨在解决在5G时代背景下，毫米波雷达在手势识别领域的应用问题。通过利用频率调制连续波（FMCW）信号，该数据集不仅捕捉了手势的反射点信息，还记录了手势在三维空间中的运动模式。数据集包含了56,420条手势轨迹，涵盖了144名参与者在短距离和长距离两种场景下的手势数据，包括PRM信息、原始信号数据、距离多普勒图像以及点云数据。该数据集的发布为毫米波雷达在手势识别、智能家居控制等领域的研究提供了宝贵的资源，推动了毫米波技术在5G时代的应用与发展。

当前挑战

毫米波手势数据集的构建面临多重挑战。首先，手势识别的准确性受到环境干扰、多路径反射以及静态物体反射的影响，尽管采用了CFAR-CASO算法进行滤波，但仍需进一步优化以提高识别精度。其次，数据集的多样性要求涵盖多种手势类型和不同的遮挡情况，这增加了数据采集和处理的复杂性。此外，毫米波雷达在长距离和短距离场景下的参数调整也是一个技术难点，需要根据不同的应用场景进行精确的雷达参数设置。最后，如何在低功耗设备上实现高效的手势识别，尤其是在并发手势识别和隐私保护方面，仍需进一步研究和突破。

常用场景

经典使用场景

mmWave-gesture-dataset 数据集的经典使用场景主要集中在毫米波雷达技术在人体手势识别中的应用。该数据集通过采集不同距离（短距离和长距离）下的手势数据，涵盖了多种手势类型，包括预定义的敲击、滑动、旋转等动作，以及意外的手指运动和书写动作。这些数据为研究人员提供了丰富的资源，用于开发和验证基于毫米波雷达的手势识别算法，特别是在智能家居、虚拟现实和人机交互等领域。

解决学术问题

该数据集解决了毫米波雷达在手势识别中的多个学术研究问题，包括如何在不同距离和遮挡条件下准确捕捉和识别手势。通过提供大量的手势数据和多种信号处理方法，该数据集帮助研究人员探索毫米波雷达在复杂环境中的高精度感知能力，特别是在5G时代的潜在应用。此外，该数据集还解决了并发手势识别和功耗优化等实际问题，为未来的智能设备设计提供了重要的参考。

实际应用

mmWave-gesture-dataset 数据集的实际应用场景广泛，涵盖了智能家居、智能汽车、虚拟现实和增强现实等领域。例如，在智能家居中，用户可以通过简单的手势控制家电设备，提升用户体验；在智能汽车中，驾驶员可以通过手势操作车载系统，减少分心驾驶的风险。此外，该数据集还可用于开发虚拟现实和增强现实中的手势交互系统，为用户提供更加自然和直观的交互方式。

数据集最近研究

最新研究方向

在毫米波（mmWave）技术日益成熟的背景下，mmWave-gesture-dataset数据集的研究方向主要集中在毫米波雷达在手势识别领域的应用拓展。随着5G技术的普及，毫米波雷达因其高精度和高灵敏度，在手势识别中的潜力逐渐显现。当前的研究不仅关注于短距离和长距离场景下的手势识别，还探索了在不同遮挡条件下的手势捕捉能力，如通过纸张或波纹纸等非导体材料的遮挡。此外，研究还涉及多路径反射信号的处理，以提高识别的准确性和鲁棒性。这些研究不仅推动了毫米波雷达在智能家居、虚拟现实等领域的应用，也为未来智能设备中的非接触式控制提供了技术支持。