SLP datasets

SLP数据集提供了一个大规模、多样化的卧姿图像，用于研究不良视觉条件下的床上人体姿态/行为监测。数据集包括RGB、长波红外(LWIR)、深度和压力图(PM)等多种模态，涵盖了迄今为止相关研究中使用的主要模态。还包括多种覆盖条件，如无覆盖、覆盖1（薄覆盖）和覆盖2（厚覆盖）。

The SLP dataset offers a large-scale, diverse collection of lying posture images, designed for research on human posture/behavior monitoring in bed under poor visual conditions. The dataset encompasses multiple modalities, including RGB, long-wave infrared (LWIR), depth, and pressure maps (PM), covering the primary modalities used in related research to date. It also includes various covering conditions, such as no cover, cover 1 (thin cover), and cover 2 (thick cover).

原始信息汇总

数据集概述

数据集名称

SLP datasets

数据集描述

SLP数据集提供了大规模、多样化的卧姿图像，用于床上人体姿态/行为监测研究。该数据集包含多种模态数据，包括RGB、长波红外（LWIR）、深度和压力图（PM），涵盖了相关研究中使用的主要模态。此外，还包括多种覆盖条件，如无覆盖、薄覆盖和厚覆盖。

数据集模态

• RGB
• 长波红外（LWIR）
• 深度
• 压力图（PM）

覆盖条件

• 无覆盖
• 薄覆盖（cover 1）
• 厚覆盖（cover 2）

数据集用途

1. 未来机器学习研究的潜在应用
2. 研究模态间的对应关系
3. 2D人体姿态估计的工作示例

数据集接口

• eg_SLP_interface.ipynb: SLP数据集接口教程，提供灵活的数据接口，满足不同模态、模态对齐、不同覆盖条件及多模态数据与2D姿态标签协作的需求。
• eg_vis_SLP.ipynb: LWIR-D-PM可视化教程，探索床上（即休息状态）人体姿态对底层压力的影响。
• main.py: 2D人体姿态估计的工作示例，提供多个候选模型。

数据集依赖

• PyTorch 1.4.0
• CUDA 10.0
• 可视化工具如visdom和plotly

数据集结构

每个实验会创建一个特定的实验文件夹，模型权重文件（.pth）将保存在model_dump子文件夹中，可视化结果保存在vis，测试结果以json格式保存在result。

预训练模型

提供多种模型的预训练模型，适用于具有相应模态设备的病人监测或直接运行推理。

引用信息

@article{liu2022simultaneously, title={Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions}, author={Liu, Shuangjun and Huang, Xiaofei and Fu, Nihang and Li, Cheng and Su, Zhongnan and Ostadabbas, Sarah}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)}, year={2022} }

许可证

SLP数据集仅供非商业用途使用，包括研究、教学、科学出版和个人实验。如需其他用途，请联系Augmented Cognition Lab (ACLab)。

搜集汇总

数据集介绍

构建方式

SLP数据集通过同时采集多种模态数据构建而成，涵盖了RGB、长波红外（LWIR）、深度图和压力图（PM）等多种主流模态，旨在为床上人体姿态监测研究提供丰富的数据支持。数据采集过程中，考虑了不同覆盖条件，包括无覆盖、薄覆盖和厚覆盖，以模拟真实场景中的多样化情况。数据集的构建过程严格遵循科学实验规范，确保了数据的多样性和可靠性。

特点

SLP数据集以其多模态性和高多样性著称，涵盖了床上人体姿态监测研究所需的主要数据模态。数据集不仅包含多种传感器采集的数据，还提供了不同覆盖条件下的样本，能够有效模拟实际应用场景。此外，数据集还提供了2D人体姿态标签，便于研究者进行多模态数据的协同分析。SLP数据集的多样性和丰富性使其成为床上人体姿态监测研究的重要资源。

使用方法

SLP数据集的使用方法灵活多样，研究者可以通过提供的代码示例进行数据接口调用、可视化分析以及2D人体姿态估计。数据集接口支持不同模态、不同覆盖条件的数据加载，便于研究者根据需求灵活选择数据。可视化工具则帮助研究者深入理解不同模态数据之间的对应关系。此外，数据集还提供了多种预训练模型，支持研究者直接进行推理或进一步训练，以满足不同研究需求。

背景与挑战

背景概述

SLP数据集（Simultaneously-collected multimodal Lying Pose）由东北大学的Augmented Cognition Lab（ACLab）团队于2019年首次发布，旨在为床上人体姿态监测研究提供大规模、多样化的多模态数据。该数据集涵盖了RGB、长波红外（LWIR）、深度图和压力图（PM）等多种主流模态，并包含了无覆盖、薄覆盖和厚覆盖等多种覆盖条件。SLP数据集的发布为研究者在复杂视觉条件下进行人体姿态估计提供了宝贵资源，尤其在医疗监控和康复领域具有重要应用价值。该数据集的研究成果已发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)》等顶级期刊上，推动了多模态数据融合与姿态估计技术的发展。

当前挑战

SLP数据集在解决床上人体姿态估计问题时面临多重挑战。首先，不同模态数据之间的对齐与融合是一个技术难点，尤其是在覆盖条件下，红外和深度数据的准确性可能受到干扰。其次，数据集的构建过程中需要克服多设备同步采集的复杂性，确保各模态数据在时间和空间上的一致性。此外，由于床上姿态的多样性和覆盖物的影响，模型的泛化能力受到考验，如何在复杂条件下实现高精度的姿态估计仍需进一步研究。最后，数据集的非商业用途限制也对其广泛应用带来一定挑战，限制了其在商业化医疗产品中的直接应用。

常用场景

经典使用场景

SLP数据集在床姿态监测研究中展现了其独特的价值，尤其是在多模态数据融合的应用中。通过同时采集RGB、长波红外（LWIR）、深度图和压力图（PM），该数据集为研究者提供了一个全面的视角，用于分析不同覆盖条件下的人体姿态变化。这种多模态数据的结合，使得研究者能够更准确地识别和理解床姿态的复杂性，为未来的机器学习研究提供了丰富的数据基础。

实际应用

在实际应用中，SLP数据集被广泛用于医疗健康领域，特别是在长期卧床患者的姿态监测中。通过分析患者的床姿态变化，医护人员可以及时发现潜在的健康问题，如褥疮的发生。此外，该数据集还可用于智能床垫的开发，通过实时监测患者的姿态，提供个性化的护理建议，从而提高患者的生活质量。

衍生相关工作

SLP数据集催生了一系列经典的研究工作，特别是在2D人体姿态估计领域。基于该数据集，研究者开发了多种先进的模型，如StackedHourGlass、ChainedPredictions和HRpose等。这些模型不仅在学术界取得了显著的成果，还为实际应用提供了有力的技术支持。此外，SLP数据集还推动了多模态数据融合技术的发展，为未来的研究提供了新的方向。