Millimeter-wave Multi-View Radar (MMVR) dataset

MMVR数据集是由三菱电机研究实验室创建的大型室内雷达感知数据集，旨在支持室内车辆导航、建筑能源管理和老年人护理等应用。该数据集包含345,000个多视角雷达帧，覆盖6个不同房间和25个人类对象，具有高分辨率的热图数据，支持对象检测、姿态估计和实例分割等感知任务。数据集的创建过程涉及多天、多房间和多对象的设置，强调环境和对象的多样性。通过使用先进的RGB-based管道进行高置信度的图像平面标注，MMVR数据集为室内雷达感知的发展提供了丰富的资源和基准。The MMVR dataset is a large-scale indoor radar perception dataset developed by Mitsubishi Electric Research Laboratories, intended to support applications such as indoor vehicle navigation, building energy management, and elder care. This dataset includes 345,000 multi-view radar frames, covering 6 distinct rooms and 25 human subjects, and features high-resolution heatmap data that enables perception tasks including object detection, pose estimation, and instance segmentation. The dataset was constructed through configurations spanning multiple days, multiple rooms and various human subjects, highlighting the diversity of both environments and objects. By utilizing advanced RGB-based pipelines to generate high-confidence image-plane annotations, the MMVR dataset provides a valuable resource and benchmark for the advancement of indoor radar perception.

搜集汇总

数据集介绍

构建方式

MMVR 数据集采用多视角高分辨率雷达热力图，在多日、多房间和多受试者环境下进行室内雷达数据收集。该数据集包含 345K 多视角雷达帧，由 25 位受试者在 6 个不同的房间内收集，以及 446K 个注释边界框/分割实例和 759 万个注释关键点，分别支持目标检测、姿态估计和实例分割三个主要感知任务。每个任务都报告了在两个协议下的性能基准：一个受试者在开放空间和多个受试者在多个杂乱房间中的单日数据分割和跨环境分割。

特点

MMVR 数据集具有以下特点：1) 数据集规模庞大，包含 345K 多视角雷达帧，是目前为止最大的开源室内雷达数据集；2) 数据集包含 2 个部分：P1（开放前景）和 P2（杂乱空间），分别用于建立雷达感知基准和更具挑战性的场景；3) 数据集包含大量注释标签，包括 446K 个边界框、7.59 万个关键点和 446K 个分割实例，支持三个感知任务；4) 数据集使用最先进的 RGB 基线方法进行注释，并涉及人工校对。

使用方法

MMVR 数据集的使用方法如下：1) 数据集包含两个数据分割策略：随机分割和跨会话和未见分割；2) 数据集包含三个基线方法：RFMask、RFPose 和 DETR，用于评估目标检测和实例分割性能；3) 数据集提供详细的评估指标和超参数设置，方便用户进行模型评估和比较；4) 数据集提供数据收集协议、数据分割和注释标签的详细说明，方便用户了解数据集的构成和使用方式。

背景与挑战

背景概述

室内雷达感知在自动驾驶、建筑能源管理和老年人护理等领域发挥着重要作用，尤其在低光照和紧急情况（如烟雾、火灾和灰尘）下，其低设备成本和较少的隐私问题使其更具优势。然而，与汽车雷达感知相比，室内雷达感知的研究相对较少，公开数据集也较为有限。MMVR数据集的创建填补了这一空白，它由Mitsubishi Electric Research Laboratories (MERL)的研究人员于2024年开发，旨在推动室内雷达感知技术的发展。该数据集包含345K多视图雷达帧，从25名受试者中收集，跨越6个不同的房间，并支持三个主要的感知任务：目标检测、姿态估计和实例分割。MMVR数据集具有多天、多房间和多受试者的特点，环境多样，受试者多样，是目前最大的开源室内雷达数据集，为室内雷达感知的发展提供了宝贵的资源。

当前挑战

尽管MMVR数据集为室内雷达感知的研究提供了重要的数据基础，但仍面临一些挑战。首先，该数据集的标注是基于RGB图像的，在P2协议中，由于自然遮挡（如椅子、桌子、沙发）的存在，标注的BBox、关键点和分割像素也可能被遮挡或具有极低的可靠性。这导致雷达感知方法在自然遮挡情况下是否优于基于相机的方法尚不清楚。其次，该数据集中每个会话中最多只有3名受试者，对于密集人群中的雷达感知研究，数据集的局限性较大。最后，虽然雷达感知的隐私问题较少，但MMVR数据集仍可用于对受试者的性别、尺寸、身高和步态等属性进行分类和估计，这引发了对数据隐私和安全的担忧。

常用场景

经典使用场景

室内感知技术在机器人导航、建筑能源管理和老年人护理等领域发挥着重要作用。Millimeter-wave Multi-View Radar (MMVR) 数据集通过多视角高分辨率雷达热图，在多日、多房间和多主体场景下收集了大量数据，为室内感知任务提供了宝贵的资源。该数据集支持三大感知任务：目标检测、姿态估计和实例分割，为室内机器人（机器人/人形机器人）导航、建筑能源管理和老年人护理等领域提供了更高效、用户体验更好的解决方案。

衍生相关工作

MMVR 数据集的发布推动了室内感知领域的研究，并衍生出许多相关的经典工作。例如，RF-Pose 和 HuPR 等数据集也采用多视角雷达热图进行室内感知任务的研究，但它们在数据集规模、标注和多样性方面与 MMVR 数据集相比存在差距。此外，一些研究也探索了雷达信号处理和结果在室内感知中的应用，例如 RadHAR、mm-Pose、mRI 和 MM-Fi 等数据集。MMVR 数据集的发布为室内感知领域的研究提供了更全面、更具有挑战性的数据集，推动了室内感知技术的发展，并为相关领域的研究提供了新的思路和方向。

数据集最近研究

最新研究方向

室内雷达感知领域的研究近年来逐渐兴起，尤其是在智能家居、建筑能源管理和老年护理等应用中展现出巨大的潜力。然而，现有的室内雷达数据集大多规模较小，分辨率较低，且通常仅在开放空间单室环境下采集。为了推动室内雷达感知技术的发展，M.Mahbubur Rahman等人提出了毫米波多视角雷达（MMVR）数据集。该数据集在多日、多室和多主体环境下采集了345K多视角雷达帧，并包含了446K标注框/分割实例和7.59百万标注关键点，以支持目标检测、姿态估计和实例分割等三大感知任务。MMVR数据集的发布为室内雷达感知研究提供了重要的数据基础，有望推动室内导航、建筑能源管理和老年护理等领域的进一步发展。

相关研究论文

• MMVR: Millimeter-wave Multi-View Radar Dataset and Benchmark for Indoor Perception

  三菱电机研究实验室 (MERL) · 2024年