mmBody

mmBody数据集由浙江大学创建，专注于毫米波雷达的3D人体重建。该数据集包含100个由20名志愿者在7个不同场景中执行的动作，涵盖了多种环境和人体姿态。数据收集过程中，使用了多传感器自动3D人体标注系统，确保了数据的高质量和多样性。mmBody数据集不仅用于评估毫米波雷达在不同环境下的3D人体重建性能，还旨在解决在恶劣环境下人体动作捕捉的问题，为多传感器融合研究提供了重要资源。mmBody Dataset was created by Zhejiang University, focusing on 3D human reconstruction using millimeter-wave radars. This dataset includes 100 actions performed by 20 volunteers across 7 distinct scenarios, covering diverse environments and various human poses. During data collection, a multi-sensor automated 3D human annotation system was employed to ensure high data quality and diversity. The mmBody dataset is not only used to evaluate the 3D human reconstruction performance of millimeter-wave radars in different environments, but also aims to address the challenges of human motion capture in harsh environments, providing an important resource for multi-sensor fusion research.

搜集汇总

数据集介绍

构建方式

为应对毫米波雷达信号在三维人体重建领域的应用挑战，研究者构建了一个自动化的三维人体标注系统，该系统整合了多传感器技术。该系统由毫米波捕捉系统、动作捕捉系统和相机捕捉系统组成，通过同步和校准的方式，收集了大规模的数据集。数据集包含在不同场景下同步校准的毫米波雷达点云和RGB(D)图像，以及场景中人体的骨骼/网格标注。通过该数据集，研究者训练了使用不同传感器输入的最先进方法，并在各种场景下进行了测试。

特点

mmBody数据集的特点在于其场景的完整性和多样性。数据集涵盖了不同场景下的100个动作，包括静态姿势、躯干运动、腿部运动、手臂运动、颈部运动、体育动作和日常室内动作，由20名志愿者在7种不同的场景下完成。这些场景包括不同的实验室、布置有家具的实验室、昏暗的光线、雨天、烟雾和遮挡。此外，数据集还包含与毫米波信号配对的RGB(D)图像，为研究毫米波雷达与不同传感器的信号组合提供了可能。

使用方法

使用mmBody数据集时，首先需要了解数据集的组织结构，包括毫米波雷达点云、RGB(D)图像和人体骨骼/网格标注。然后，可以根据需要选择不同的传感器输入，如毫米波雷达点云、Kinect点云（带或不带RGB信息）或RGB图像，进行三维人体重建。在训练阶段，可以使用P4Transformer等基于点云的方法，或VIBE等基于RGB图像的方法。在测试阶段，可以使用相同的网络结构和参数，对不同的场景进行评估，并使用平均（最大）关节误差和平均（最大）顶点误差等指标来衡量重建性能。

背景与挑战

背景概述

在无线传感技术在自动驾驶、人体活动检测、汽车电子和无人机等领域日益流行的背景下，毫米波雷达因其能够在浓雾、烟雾、雨雪、低光照等恶劣环境下工作而备受关注。mmBody数据集的创建旨在填补从无线信号中进行人体三维重建研究的空白，并提供一个大规模的、包含同步和校准的毫米波雷达点云以及RGB(D)图像的数据集，用于评估和改进毫米波雷达在三维人体重建方面的性能。该数据集由浙江大学的研究团队创建，包括Anjun Chen、Xiangyu Wang、Shaohao Zhu、Yanxu Li、Jiming Chen和Qi Ye等研究人员。通过使用多个传感器收集数据，该数据集不仅包含了不同场景下的毫米波雷达点云和RGB(D)图像，还包含了场景中人体的骨架/网格标注。该数据集的研究成果对推动三维人体重建技术向更多样化的场景发展具有重要意义。

当前挑战

mmBody数据集面临的挑战主要包括：1)毫米波雷达信号的噪声和稀疏性，使得重建的三维人体模型存在缺失部分和不一致性；2)毫米波雷达信号在不同场景下的重建精度与RGB(D)相机相比存在差距；3)恶劣天气条件对毫米波雷达信号的影响，例如雨和烟雾等，会影响重建的精度；4)如何有效地融合毫米波雷达信号与其他传感器信号，以进一步提高重建精度和鲁棒性。这些挑战对于推动毫米波雷达在三维人体重建领域的应用具有重要意义。

常用场景

经典使用场景

在毫米波雷达信号中，重建三维人体模型是一个重要的问题。mmBody数据集通过收集大规模的毫米波雷达点云和RGB(D)图像，以及场景中人体的骨骼/网格标注，为研究人员提供了一个宝贵的数据集。使用这个数据集，可以训练基于不同传感器输入的最新方法，并在各种场景中进行测试。结果表明，尽管生成的点云存在噪声和稀疏性，但毫米波雷达可以实现比RGB相机更好的重建精度，但不如深度相机。此外，毫米波雷达的重建受恶劣天气条件的影响较小，而RGB(D)相机则受到严重影响。

解决学术问题

mmBody数据集解决了从毫米波雷达信号重建三维人体模型的准确性和鲁棒性问题。通过收集不同场景下的同步和校准的毫米波雷达点云和RGB(D)图像，以及人体骨骼/网格标注，研究人员可以评估不同传感器输入下三维人体重建的性能，并与RGB和深度相机进行比较。这为毫米波雷达在3D人体重建方面的应用提供了有价值的指导。

衍生相关工作

mmBody数据集的发布促进了相关领域的研究。例如，研究人员可以利用这个数据集来改进毫米波雷达信号处理算法，以提高三维人体重建的精度和鲁棒性。此外，这个数据集还可以用于研究毫米波雷达与其他传感器（如RGB和深度相机）的融合，以进一步提高人体重建的性能。这些研究工作将有助于推动毫米波雷达在3D人体重建和其他领域的应用。