BlanketGen2-Fit3D

BlanketGen2-Fit3D是由葡萄牙科学技术基金会支持创建的数据集，旨在通过合成逼真的毯子遮挡数据来改进床上的2D人体姿态估计。该数据集基于Fit3D数据集，包含1,217,312帧图像，通过BlanketGen2管道生成，利用SMPL模型和布料模拟技术合成毯子遮挡效果。数据集的应用领域主要集中在医疗监控中的床上姿态估计，旨在解决毯子遮挡下的人体姿态识别问题。BlanketGen2-Fit3D is a dataset developed with funding support from the Portuguese Foundation for Science and Technology. It is created to enhance 2D human pose estimation for in-bed environments by generating realistic synthetic blanket occlusion data. Built on the Fit3D dataset, this collection comprises 1,217,312 image frames, all generated via the BlanketGen2 pipeline, which leverages the SMPL model and cloth simulation technologies to synthesize blanket occlusion effects. Its primary application areas focus on in-bed pose estimation for medical monitoring, with the goal of solving the challenge of human pose recognition under blanket occlusion.

搜集汇总

数据集介绍

构建方式

BlanketGen2-Fit3D 数据集是通过 BlanketGen2 管道对 Fit3D 数据集进行增强而构建的。该管道首先使用真实人体的 SMPL 建模网格，并通过物理模拟生成逼真的床单图像。随后，这些床单图像被渲染为透明背景，并叠加到原始帧上，从而模拟真实场景中人体被床单遮挡的情况。最后，生成包含 1,217,312 个帧的 BlanketGen2-Fit3D 数据集，用于训练人体姿态估计模型。

特点

BlanketGen2-Fit3D 数据集的主要特点是：1）使用 BlanketGen2 管道生成逼真的床单图像，能够模拟真实场景中人体被床单遮挡的情况；2）数据集规模较大，包含 1,217,312 个帧，能够满足模型训练的需求；3）数据集包含床单渲染的 .blend 文件，方便用户进行自定义渲染。

使用方法

使用 BlanketGen2-Fit3D 数据集进行人体姿态估计模型的训练时，可以采用以下步骤：1）将数据集与原始 Fit3D 数据集合并，用于模型预训练；2）在预训练的基础上，使用 BlanketGen2-Fit3D 数据集进行微调，以提升模型对遮挡场景的适应能力；3）在 SLP 数据集上进行测试，评估模型在真实场景中的性能。

背景与挑战

背景概述

BlanketGen2-Fit3D数据集是一个用于改善真实世界床上人体姿态估计的合成数据集，它通过在Fit3D数据集上添加合成的照片真实感的毯子来增强数据集。该数据集的创建旨在解决临床床上基于骨骼的动作识别中的独特挑战，即人体经常被毯子遮挡，而标记的人体姿态估计数据在此场景中却非常稀缺。BlanketGen2-Fit3D数据集包含了1,217,312帧带有合成照片真实感毯子的图像，为人体姿态估计模型提供了大量的训练数据，有助于提高模型在真实世界场景中的性能。该数据集由Tamás Karácsоны、João Carmona和João Paulo Silva Cunha等研究人员创建，并于2021年8月在《Journal of LaTeX Class Files》上发表相关论文。该数据集的创建对于人体姿态估计领域具有重要的影响力，为相关研究提供了重要的数据支持。

当前挑战

BlanketGen2-Fit3D数据集相关的挑战包括：1) 解决的领域问题：人体姿态估计（HPE）对于临床床上基于骨骼的动作识别至关重要，但由于人体经常被毯子遮挡，且标记的HPE数据在此场景中稀缺，因此对人体姿态估计模型提出了独特的挑战。2) 构建过程中所遇到的挑战：为了生成合成的照片真实感毯子，研究人员需要使用BlanketGen2管道来模拟毯子，并将其渲染为透明图像，然后将其叠加在原始帧上。这个过程需要精确的模拟和渲染技术，以确保生成的毯子能够真实地模拟真实场景中的毯子遮挡效果。同时，由于人体姿态估计模型的训练需要大量的数据，因此构建一个足够大的合成数据集也是一个挑战。BlanketGen2-Fit3D数据集的创建为解决这些挑战提供了一个有效的解决方案。

常用场景

经典使用场景

BlanketGen2-Fit3D数据集在提高真实世界中被床单遮挡的人体姿态估计方面具有经典的应用。该数据集通过在Fit3D数据集的基础上增加1,217,312帧带有合成照片级真实感床单的图像，为人体姿态估计模型提供了丰富的遮挡数据。这使得模型能够在床单遮挡的情况下更准确地估计人体姿态，从而在临床在床骨骼基础动作识别等领域得到广泛应用。

解决学术问题

BlanketGen2-Fit3D数据集解决了在床单遮挡情况下人体姿态估计的挑战。在临床在床患者监测等领域，床单的存在常常导致光学系统无法获取人体真实姿态，而惯性测量单元则存在佩戴不适、易移动等问题。BlanketGen2-Fit3D数据集通过合成照片级真实感床单，为人体姿态估计模型提供了丰富的遮挡数据，使得模型能够在床单遮挡的情况下更准确地估计人体姿态，从而解决了这一学术研究问题。

衍生相关工作

BlanketGen2-Fit3D数据集衍生了多项相关工作。例如，BlanketSet数据集是一个在床床单遮挡的动作识别数据集，虽然不包含关键点标签，但可以用于模型的质量评估。此外，BlanketGen2-Fit3D数据集的生成方法也可以应用于其他需要合成遮挡数据的人体姿态估计任务，如深度视频的床单遮挡增强等。