mRI: multi-modal 3d human pose estimation dataset using mmwave, rgb-d, and inertial sensors

The ability to estimate 3D human body pose and movement, also known as human pose estimation~(HPE), enables many applications for home-based health monitoring, such as remote rehabilitation training. Several possible solutions have emerged using sensors ranging from RGB cameras, depth sensors, millimeter-Wave (mmWave) radars, and wearable inertial sensors. Despite previous efforts on datasets and benchmarks for HPE, few datasets exploit multiple modalities and focus on home-based health monitoring.
To bridge this gap, we present mRI, a multi-modal 3D human pose estimation dataset with mmWave, RGB-D, and Inertial Sensors. Our dataset consists of over 5 million frames from 20 subjects performing rehabilitation exercises and supports the benchmarks of HPE and action detection. We perform extensive experiments using our dataset and delineate the strength of each modality.
We hope that the release of mRI can catalyze the research in pose estimation, multi-modal learning, and action understan..., , , # mRI: multi-modal 3d human pose estimation dataset using mmwave, rgb-d, and inertial sensors

[Access this dataset on Dryad](https://doi.org/10.5061/dryad.9ghx3ffpp)

Data storage for NeurIPS 2022 paper [mRI: multi-modal 3d human pose estimation dataset using mmwave, rgb-d, and inertial sensors](https://proceedings.neurips.cc/paper_files/paper/2022/hash/af9c9c6d2da701da5a0acf91ec217815-Abstract-Datasets_and_Benchmarks.html)

Update 11/27/2023: We fixed the bug in the videos zip file.

## Data and file structure

There are two main sections of the data.

### RGB video data: blurred\_videos.zip

There are 40 videos for 20 subjects (left and right each).

### Other raw data, features, and model: dataset\_release.zip

The folder structure should be like this:

```
${ROOT}
|-- raw_data
| |-- imu
| |-- eaf_file
| |-- radar
| |-- unixtime
| |-- videolabels
|-- aligned_data
| |-- imu
| |-- radar
| |-- pose_labels
|-- features
| |-- imu
| |-- radar
|-- model
| |-- imu
| ...

人体姿态估计（Human Pose Estimation, HPE）是指对三维人体姿态与运动进行估算的技术，该技术可支撑诸多居家健康监测相关应用，例如远程康复训练。目前已有多种基于不同传感器的解决方案被提出，涵盖RGB相机、深度传感器、毫米波（millimeter-Wave, mmWave）雷达以及可穿戴惯性传感器。尽管此前已有诸多针对人体姿态估计的数据集与基准测试，但鲜有数据集同时采用多模态数据，并聚焦于居家健康监测场景。

为填补这一研究空白，我们提出mRI数据集：一款融合毫米波、RGB-D与惯性传感器的多模态三维人体姿态估计数据集。该数据集包含20名受试者完成康复训练时采集的超500万帧数据，可用于人体姿态估计与动作检测的基准测试。我们基于该数据集开展了大量实验，并阐明了各模态数据的优势所在。

我们期望mRI数据集的发布能够推动姿态估计、多模态学习以及动作理解等领域的研究……
# mRI：基于毫米波、RGB-D与惯性传感器的多模态三维人体姿态估计数据集

[可在Dryad平台获取该数据集](https://doi.org/10.5061/dryad.9ghx3ffpp)

本数据集为2022年神经信息处理系统大会（NeurIPS）论文[mRI：基于毫米波、RGB-D与惯性传感器的多模态三维人体姿态估计数据集](https://proceedings.neurips.cc/paper_files/paper/2022/hash/af9c9c6d2da701da5a0acf91ec217815-Abstract-Datasets_and_Benchmarks.html)的配套数据。

2023年11月27日更新：我们修复了视频压缩包中的漏洞。

## 数据与文件结构
该数据集包含两大核心部分：

### RGB视频数据：blurred_videos.zip
针对20名受试者，共包含40段视频（每名受试者对应左右两段视频）。

### 其他原始数据、特征与模型：dataset_release.zip
数据集的文件夹结构如下所示：

${ROOT}
|-- 原始数据（raw_data）
| |-- imu（惯性测量单元）
| |-- eaf_file
| |-- radar（雷达）
| |-- unixtime（Unix时间戳）
| |-- videolabels（视频标签）
|-- 对齐后数据（aligned_data）
| |-- imu（惯性测量单元）
| |-- radar（雷达）
| |-- pose_labels（姿态标签）
|-- 特征（features）
| |-- imu（惯性测量单元）
| |-- radar（雷达）
|-- 模型（model）
| |-- imu（惯性测量单元）
| ...