HUP-3D

HUP-3D是由Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London创建的一个3D多视角合成数据集，专门用于妇产科超声中的手-超声探头姿态估计。该数据集包含超过31,680组RGB、深度和分割掩码帧，以及相关的姿态真实数据，强调图像的多样性和复杂性。数据集的创建采用了基于相机视角的球体概念，通过预训练网络生成多种手抓握姿态，并结合软件渲染技术，增加了手和手臂纹理、光照条件和背景图像的多样性。HUP-3D数据集主要应用于混合现实医学教育领域，旨在通过分析手和探头的运动，提供定制化的指导和辅导应用，解决当前缺乏有效超声探头指导标准的问题。

HUP-3D is a 3D multi-view synthetic dataset created by the Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London, specifically designed for hand-ultrasound probe pose estimation in obstetrics and gynecology ultrasound. This dataset contains over 31,680 sets of RGB, depth and segmentation mask frames along with corresponding ground-truth pose data, emphasizing the diversity and complexity of the images. The dataset was developed using the concept of a camera-view-based sphere, where pre-trained networks are used to generate diverse hand grasping poses, combined with software rendering techniques to increase the diversity of hand and arm textures, lighting conditions and background images. The HUP-3D dataset is primarily applied in the field of mixed reality medical education, aiming to provide customized guidance and tutoring applications by analyzing the movements of the hand and the ultrasound probe, addressing the current lack of effective standards for ultrasound probe guidance.

搜集汇总

数据集介绍

构建方式

HUP-3D数据集的构建采用了基于 generative model 的 grasp 生成方式和 sphere-based camera viewpoint 概念，通过自动化渲染管道生成多视角的 RGB-D 和分割掩模帧，以及对应的地面真实标注数据。

特点

HUP-3D 数据集的特点包括：包含超过 31k 套 RGB、深度和分割掩模帧；采用 pre-trained network 生成多样化的手部抓取姿态；利用 sphere-based camera viewpoint 概念增强数据集的多视角性和多样性；提供内置的地面真实数据，便于训练和评估机器学习模型。

使用方法

使用 HUP-3D 数据集时，用户可以通过提供的 Google Drive 链接下载数据集。数据集包含多个配置参数，用户可以根据需要调整这些参数来影响生成的帧的多样性和数量。数据集适用于训练和评估用于手部-工具姿态估计的深度学习模型。

背景与挑战

背景概述

HUP-3D是一个合成三维多视角数据集，专门为产科超声手探头的姿态估计而设计。该数据集由英国伦敦大学学院Wellcome/EPSRC中心干预和手术科学(WEISS)创建，包含了超过31k组RGB、深度和分割掩膜帧，以及与姿态相关的地面真实数据。HUP-3D的构建目的是为了增强混合现实医疗教育中的应用，通过分析手和探头的运动来促进 holographic辅助探头引导。该数据集的特点是关注图像多样性和复杂性，采用基于球面概念的相机视角，以捕捉各种手抓姿态。HUP-3D数据集的创建时间为2024年，主要研究人员包括Manuel Birlo、Razvan Caramalau、Philip J. “Eddie” Edwards等人，属于临床应用领域的数据集，对相关领域产生了积极的影响。

当前挑战

HUP-3D数据集在构建过程中遇到的挑战主要包括：1)如何生成足够多样的训练图像，以便模型能够泛化到真实图像；2)如何精确地模拟手和探头之间的交互，以及探头在手中的位置和方向；3)如何处理合成图像中的遮挡问题，特别是在手和探头之间的相互遮挡；4)如何确保数据集的多样性和可扩展性，以适应不同的应用场景和需求。

常用场景

经典使用场景

HUP-3D数据集主要应用于产科超声检查中的手部超声波探头姿态估计。该数据集通过提供多样化的手部姿势、纹理、背景、光照和摄像头角度，帮助研究人员训练深度学习模型以准确预测手部和探头的三维姿态。这对于开发基于混合现实技术的医学教育应用尤为重要，例如，通过分析手部和探头的运动来辅助超声探头引导。此外，HUP-3D数据集还可以用于评估临床医生的操作技能，通过区分新手和专家医生的动作，为标准化培训方法提供支持。

解决学术问题

HUP-3D数据集解决了真实图像数据集在标注过程中的人工成本高和潜在偏差问题。通过生成合成图像，该数据集提供了内置的地面实况，从而简化了标注过程，并提高了标注的准确性。此外，HUP-3D数据集通过采用基于摄像头的视点球体概念，可以捕捉多种视角，并生成多个手部握持姿势，从而提高了数据集的多样性和复杂性。这使得模型能够更好地处理手部和工具之间的相互遮挡问题，并在具有挑战性的情况下准确预测握持姿势。

衍生相关工作

HUP-3D数据集的发布为手部超声波探头姿态估计的研究提供了新的资源。该数据集的多样性和复杂性使得模型能够更好地处理手部和工具之间的相互遮挡问题，并在具有挑战性的情况下准确预测握持姿势。此外，HUP-3D数据集的发布还推动了基于混合现实技术的医学教育应用的发展，例如，通过分析手部和探头的运动来辅助超声探头引导，从而提高医疗教育的效率和质量。