DHP19

DHP19数据集是一个动态视觉传感器(DVS)3D人体姿态数据集，使用4个同步的DVS相机记录17个不同对象的33种特定动作，同时使用Vicon运动捕捉系统生成3D空间中的位置标记以获取地面真实数据。

The DHP19 dataset is a dynamic vision sensor (DVS) 3D human pose dataset, which records 33 specific actions of 17 different subjects using 4 synchronized DVS cameras. Simultaneously, the Vicon motion capture system is employed to generate position markers in 3D space for obtaining ground truth data.

原始信息汇总

数据集概述

数据集名称

Dynamic Vision Sensor (DVS) 3D Human Pose Dataset

数据集描述

该数据集包含4个同步的DVS摄像头记录的33种特定动作，涉及17个不同对象。同时，使用Vicon运动捕捉系统在3D空间中生成位置标记，以获取地面实况数据。

数据采集方法

• 使用4个同步的DVS摄像头记录动作。
• Vicon系统用于生成3D空间中的位置标记。

数据预处理

数据预处理包括：

• 通过累积固定数量的事件生成DVS帧。
• 根据DVS帧的初始和最终事件时间戳计算时间窗口内的平均位置，生成标签位置。

数据集用途

用于训练和测试基于多输入多输出卷积神经网络和事件摄像头的人体姿态估计模型。

数据集下载

更多信息和数据集下载链接可在以下网站获取： https://sites.google.com/view/dhp19/home

搜集汇总

数据集介绍

构建方式

DHP19数据集的构建基于动态视觉传感器（DVS）和Vicon运动捕捉系统。具体而言，该数据集通过4个同步的DVS摄像头记录了17名受试者进行的33种特定动作，同时利用Vicon系统在三维空间中生成位置标记，以获取真实标签。数据预处理阶段，DVS帧通过累积固定数量的事件生成，标签位置则通过计算初始和最终事件时间戳之间的平均位置来确定。

特点

DHP19数据集的显著特点在于其结合了事件相机和传统运动捕捉系统的优势，提供了高时间分辨率的动态数据。此外，该数据集包含了多视角的同步数据，使得研究者能够探索多输入多输出（MIMO）架构在三维人体姿态估计中的应用。数据集的多样性和复杂性为深度学习模型的训练提供了丰富的资源。

使用方法

使用DHP19数据集时，研究者可以通过执行*file_generation_singleview.py*脚本生成单视角数据，随后使用*single_input_training.py*进行单输入训练。对于多输入多输出架构，可使用*multi_input_training.py*进行训练。测试阶段，*testing_with_conf.py*脚本允许设置置信度阈值，以评估预测位置的准确性。详细的训练和测试流程可在提供的文档中找到。

背景与挑战

背景概述

在计算机视觉与深度学习领域，人体姿态估计一直是核心研究课题之一。DHP19数据集由SensorsINI研究机构于2019年创建，旨在通过事件相机（Dynamic Vision Sensor, DVS）捕捉人体运动，结合Vicon运动捕捉系统生成3D空间中的位置标记，从而提供精确的地面真实数据。该数据集包含17名受试者执行的33种特定动作，通过4台同步的DVS相机记录，为研究多输入多输出卷积神经网络在人体姿态估计中的应用提供了宝贵的资源。DHP19不仅推动了事件相机在计算机视觉中的应用，还为3D人体姿态估计领域提供了新的研究方向。

当前挑战

DHP19数据集在构建过程中面临多重挑战。首先，事件相机的数据处理与传统图像数据不同，需要通过累积固定数量的事件生成帧，这一过程增加了数据预处理的复杂性。其次，同步多台DVS相机并确保数据一致性是一个技术难题，尤其是在捕捉快速运动时。此外，如何有效利用多输入多输出架构进行训练与测试，以提高姿态估计的准确性和鲁棒性，也是该数据集面临的主要挑战。最后，事件相机在低光和高速运动场景下的性能限制，进一步增加了数据集的应用难度。

常用场景

经典使用场景

DHP19数据集在三维人体姿态估计领域中具有经典应用场景，主要用于通过多输入多输出卷积神经网络（MIMO）和事件相机捕捉的动态视觉传感器（DVS）数据来估计人体四肢的位置。该数据集通过同步的DVS相机记录了17名受试者进行的33种特定动作，并结合Vicon运动捕捉系统生成的3D空间位置标记作为地面真实数据，为研究者提供了一个高度精确的实验平台，用于开发和验证新型的人体姿态估计算法。

解决学术问题

DHP19数据集解决了计算机视觉和深度学习领域中关于人体姿态估计的多个关键学术问题。首先，它通过引入事件相机数据，解决了传统相机在高动态场景中捕捉信息不足的问题。其次，该数据集通过提供精确的3D位置标记，帮助研究者验证和优化基于深度学习的姿态估计算法，特别是在处理复杂运动和多视角数据时的表现。此外，DHP19还推动了对多输入多输出网络架构的研究，为未来的姿态估计技术奠定了基础。

衍生相关工作

DHP19数据集的发布催生了一系列相关的经典研究工作。首先，基于该数据集的研究推动了多输入多输出卷积神经网络（MIMO）架构的发展，特别是在处理事件相机数据方面的应用。其次，研究者们利用DHP19数据集开发了多种新型的人体姿态估计算法，这些算法在处理复杂运动和多视角数据时表现出色。此外，DHP19还激发了对事件相机在计算机视觉中应用的深入研究，推动了这一领域的技术进步和创新。