同时收集的多模态躺姿数据集 (SLP)

同时收集的多模态躺姿数据集(SLP)是由东北大学电气与计算机工程系增强认知实验室创建的，旨在解决在不利视觉条件下床内人体姿势监测的问题。该数据集包含来自109名参与者的床内姿势图像，使用RGB、长波红外、深度和压力图等多种成像模式进行捕捉。SLP数据集设计与主流人体姿势数据集兼容，使得最先进的2D姿势估计模型能够有效地使用SLP数据进行训练，性能高达95%的PCKh@0.5。此外，通过包括额外的模态，姿势估计性能可以进一步提高。SLP数据集的应用领域包括医疗保健中的自动床内行为监测系统，这些系统可以在家中或当地医疗中心不显眼地使用，不仅有助于减少医院访问和感染传播的风险，还可以为已经超负荷工作的护理人员带来一些工作负担的缓解。Simultaneously-collected Multimodal Supine Posture Dataset (SLP) was developed by the Augmented Cognition Laboratory, Department of Electrical and Computer Engineering, Northeastern University (China), to address the challenge of in-bed human posture monitoring under adverse visual conditions. This dataset comprises in-bed posture images from 109 participants, captured via multiple imaging modalities including RGB, long-wave infrared, depth, and pressure maps. The SLP dataset is designed to be compatible with mainstream human posture datasets, allowing state-of-the-art 2D pose estimation models to be trained effectively on SLP data and achieve performance up to 95% PCKh@0.5. Moreover, pose estimation performance can be further enhanced by incorporating additional modalities. The application scope of the SLP dataset covers automatic in-bed behavior monitoring systems in healthcare, which can be deployed unobtrusively in residential homes or local medical centers. Such systems not only help reduce the risks of hospital visits and infection transmission but also alleviate partial workloads for overburdened caregivers.

搜集汇总

数据集介绍

构建方式

在深度学习领域中，人体姿态估计技术正逐渐应用于医疗保健领域，尤其是对在床人体姿态的监测。然而，在床人体姿态估计面临着不良视觉条件（如完全黑暗或完全遮挡）和缺乏公开数据集的挑战。为解决这些问题，Liu等人提出了Simultaneously-collected Multimodal Lying Pose (SLP)数据集，该数据集包含来自109名参与者的在床姿态图像，采用多种成像模态进行捕获，包括RGB、长波红外、深度和压力图。数据集的构建过程采用了物理超参数调整策略，以在极端条件下（如灯光关闭和被床单/毯子完全覆盖）生成地面真实姿态标签。SLP数据集的设计与其他主流人体姿态数据集兼容，因此可以使用SLP数据进行有效训练，并在单模态下取得高达95%的PCKh@0.5的性能。

特点

SLP数据集具有以下特点：1) 模态覆盖：SLP涵盖了所有主流的成像模态，包括RGB、LWIR、深度和PM；2) 不同覆盖条件：姿态数据在无覆盖、单层薄床单和双层厚毯子的情况下收集；3) 场景覆盖：数据集包括家庭设置和医院设置；4) 姿势覆盖：参与者被要求以仰卧、左侧卧和右侧卧的自然姿势进行数据收集；5) 附加个人信息：收集了参与者的体重、身高、性别和所有四肢的尺寸等个人信息；6) 系统的多模态地面真实生成：采用了物理超参数调整（PHPT）方法来生成地面真实姿态标签。

使用方法

SLP数据集可用于训练和评估人体姿态估计模型。首先，用户可以从SLP数据集中选择合适的模态或模态组合，然后使用深度学习框架（如TensorFlow或PyTorch）构建和训练姿态估计模型。训练过程中，可以使用SLP数据集中的地面真实标签来监督模型的训练。训练完成后，可以使用SLP数据集或新的测试数据集来评估模型的性能。此外，SLP数据集还提供了多模态姿态可视化工具，可以帮助医疗保健提供者直观地了解患者在监测过程中的身体状态。

背景与挑战

背景概述

在医疗保健领域，自动监测病患在床上的姿势具有重大价值，尤其在睡眠呼吸暂停、压力性溃疡等医疗并发症的监测中。然而，传统的方法依赖于侵入式的穿戴设备或人工报告，这限制了其在实际应用中的广泛性。同时，由于光照条件的变化和遮挡的存在，基于计算机视觉的姿势估计算法在床上的姿势估计任务中面临挑战。为了解决这个问题，Liu等人于2020年8月20日在arXiv上发布了名为“Simultaneously-Collected Multimodal Lying Pose (SLP)”的数据集。该数据集由109名参与者的床上姿势图像组成，使用了包括RGB、长波红外、深度和压力图等多种成像模式。SLP数据集的创建旨在为床上姿势估计提供大规模、多模态的基准数据集，并解决光照不良和遮挡条件下的姿势估计问题。

当前挑战

SLP数据集面临的挑战主要包括：1)在光照不良和遮挡条件下进行准确的姿势估计；2)在多种成像模式中生成准确的地面真实标签；3)跨模态数据对齐，确保不同成像模式中的数据能够精确对应；4)开发适用于床上姿势估计的多模态可视化工具，以便医疗保健提供者能够直观地了解患者的身体状况。为了解决这些挑战，SLP数据集采用了物理超参数调优（PHPT）策略，并设计了相应的数据收集和标签生成方法。此外，SLP数据集还展示了跨模态数据融合的潜力，以及在不同场景下应用的可行性。

常用场景

经典使用场景

同时收集的多模态躺姿数据集（SLP）主要被用于解决在床上的姿态估计问题。该数据集包括109名参与者的在床上的姿态图像，这些图像是通过多种成像模态（包括RGB、长波红外、深度和压力图）同时捕获的。该数据集旨在解决在床上的姿态估计问题，该问题在许多医疗保健应用中具有重要意义。由于自然环境下的在床姿态监测可能涉及完全黑暗或完全遮挡，因此该数据集的设计考虑了这些极端条件。SLP数据集的设计与主流的人体姿态数据集兼容，因此可以使用SLP数据进行有效训练，从而在单个模态上实现高达95%的PCKh@0.5的性能。此外，通过包括额外的模态，姿态估计性能可以进一步提高。

解决学术问题

SLP数据集解决了在床上的姿态估计问题，该问题在许多医疗保健应用中具有重要意义。由于自然环境下的在床姿态监测可能涉及完全黑暗或完全遮挡，因此该数据集的设计考虑了这些极端条件。此外，SLP数据集的创建填补了公开可用的在床姿态数据集的空白，使得研究人员可以训练和评估先进的姿态估计模型。该数据集的创建还提供了一种实用的方法来生成在极端条件下的真实姿态标签，这有助于研究人员开发和评估鲁棒的姿态估计算法。

衍生相关工作

SLP数据集的创建和发布促进了许多相关的经典工作。例如，研究人员使用SLP数据集来训练和评估先进的姿态估计模型，这些模型在极端条件下表现出鲁棒的性能。此外，SLP数据集还被用于开发新的姿态估计算法，这些算法可以处理在床姿态估计中的遮挡和光照变化等问题。SLP数据集还促进了多模态姿态估计的研究，该研究旨在通过融合多种模态的信息来提高姿态估计的准确性和鲁棒性。