IMHD$^2$

IMHD$^2$ 是一个包含人类与物体交互的高动态多视角数据集，具有人类运动标注、物体运动标注、物体几何扫描、物体上安装的IMU传感器测量以及32视角的RGB视频和实例级分割等特点。IMHD$^2$ is a high-dynamic multi-view dataset encompassing human-object interactions, featuring annotations of human motion, object motion, geometric scans of objects, IMU sensor measurements mounted on objects, as well as 32-view RGB videos and instance-level segmentation.

原始信息汇总

数据集概述

数据集名称

IMHD$^2$: Inertial and Multi-view Highly Dynamic human-object interactions Dataset

数据集特点

• 人类动作标注：使用SMPL-H格式，基于EasyMocap。
• 物体动作标注：基于PHOSA。
• 物体几何扫描：使用Polycam。
• 物体安装的IMU传感器测量：使用Movella DOT。
• 32视角RGB视频与实例级分割：基于SAM、Track-Anything和XMem。
• 32视角2D&3D人体关键点检测：使用ViTPose和MediaPipe。

数据集结构

data/ |--calibrations/ # 相机内参和世界到相机的外参 |--object_templates/ # 原始和下采样的几何数据 |--imu_preprocessed/ # 预处理后的IMU信号 |--keypoints2d/ # 身体关键点（OP25格式）和手部关键点（MediaPipe格式） |--keypoints3d/ # 身体关键点（OP25格式）和手部关键点（MediaPipe格式） |--ground_truth/ # 人类动作（SMPL-H格式）和刚体物体动作 |----<date>/ |------<segment_name>/ |--------<sequence_name>/ |----------gt_<part_id><start><end>.pkl

数据集使用指南

1. 数据准备：从此处下载IMHD$^2$，并按照预定义的结构放置在根目录。
2. 身体模型准备：参考body_model。
3. 运行示例：使用python visualization.py加载和可视化IMHD$^2$，结果将保存在visualizations/。

常见问题解答

• Q1: 地面实况动作的坐标是什么？如何对齐不同日期的所有动作？

  • A1: 地面实况动作在世界坐标中，使用多相机系统校准，可以使用提供的相机参数在calibrations/中转换所有动作数据到相机坐标。

• Q2: 在20230825/和20230827/中的动作与哪种物体类别交互？

  • A2: 交互物体类别是棒球棒，对应于object_templates/文件夹中的baseball。

• Q3: 哪个相机是主视图？

  • A3: 主视图来自标记为1的相机（从0开始）。

搜集汇总

数据集介绍

构建方式

IMHD$^2$数据集通过多模态数据采集与处理技术构建，涵盖了高动态的人类-物体交互场景。该数据集结合了惯性测量单元（IMU）传感器数据、多视角RGB视频、实例级分割以及3D人体关键点检测。具体而言，人体运动通过SMPL-H格式进行标注，基于EasyMocap工具；物体运动则通过PHOSA框架进行标注。此外，物体几何信息通过Polycam扫描获取，IMU数据则通过Movella DOT传感器采集。多视角视频和分割数据分别基于SAM、Track-Anything和XMem工具生成，而2D和3D人体关键点检测则使用了ViTPose和MediaPipe技术。

特点

IMHD$^2$数据集的显著特点在于其多模态数据的融合与高动态场景的捕捉。该数据集不仅提供了丰富的人体和物体运动标注，还包含了精确的物体几何信息和IMU传感器数据，为研究复杂的人类-物体交互提供了全面的视角。此外，数据集中的多视角视频和实例级分割为多视角分析提供了强大的支持，而3D人体关键点检测则为动作识别和姿态估计提供了高质量的基础数据。

使用方法

使用IMHD$^2$数据集时，首先需从指定链接下载数据，并按照预定义的目录结构进行组织。随后，用户需准备SMPL-H模型文件，并将其放置在指定的`body_model/`目录下。通过运行`python visualization.py`脚本，用户可以加载并可视化数据集中的内容，结果将保存在`visualizations/`目录中。此外，数据集提供了详细的相机校准参数，用户可根据需要将运动数据转换到不同的坐标系中进行分析。

背景与挑战

背景概述

IMHD$^2$（Inertial and Multi-view Highly Dynamic human-object interactions Dataset）是由Chengfeng Zhao等人于2024年创建的，旨在研究高动态人机交互的三维捕捉问题。该数据集的核心研究问题是如何通过惯性和多视角数据，精确捕捉和分析复杂的人机交互场景。IMHD$^2$不仅包含了32个视角的RGB视频和实例级分割，还集成了惯性测量单元（IMU）传感器数据，以及基于SMPL-H格式的人体运动和物体运动标注。该数据集的发布对计算机视觉领域，特别是人机交互和动作捕捉技术的研究具有重要意义，推动了相关领域的技术进步。

当前挑战

IMHD$^2$数据集在构建过程中面临多项挑战。首先，高动态人机交互场景的复杂性使得数据采集和标注变得极为困难，尤其是如何在多视角和惯性数据之间实现精确对齐。其次，数据集的构建涉及多种先进技术的集成，如SMPL-H模型、PHOSA算法、以及多视角视频处理技术，这些技术的融合与优化增加了数据集构建的复杂性。此外，数据集的规模和多样性要求高效的存储和处理方案，以确保数据的可用性和研究的可重复性。这些挑战不仅反映了数据集构建的技术难度，也凸显了其在推动相关领域研究中的重要性。

常用场景

经典使用场景

IMHD$^2$数据集在三维人体与物体交互（3D Human-Object Interaction, HOI）领域具有广泛的应用。其经典使用场景包括通过多视角视频和惯性测量单元（IMU）数据，捕捉和分析高度动态的人体与物体交互过程。该数据集提供了丰富的标注信息，如人体运动（SMPL-H格式）、物体运动（PHOSA格式）、32视角的2D和3D关键点检测等，这些数据为研究者提供了深入理解复杂交互行为的工具。

实际应用

IMHD$^2$数据集在实际应用中具有广泛的前景，特别是在虚拟现实（VR）、增强现实（AR）、运动分析和人机交互等领域。例如，在VR/AR应用中，该数据集可以用于实时捕捉和重建用户与虚拟物体的交互，提升沉浸感和交互体验。此外，在运动分析领域，IMHD$^2$可以用于运动员的动作捕捉和分析，帮助优化训练和表现。

衍生相关工作

IMHD$^2$数据集的发布催生了一系列相关研究工作，特别是在三维人体与物体交互的建模与分析方面。例如，基于该数据集的研究工作已经在计算机视觉顶级会议CVPR 2024上发表，展示了其在人体运动捕捉和物体交互分析中的应用。此外，该数据集还为开发新的深度学习模型和算法提供了丰富的实验数据，推动了相关领域的技术进步。