SurgPose

SurgPose数据集由不列颠哥伦比亚大学机器人与控制实验室创建，包含约12万个手术器械实例，分为6类。数据集通过在手术器械上标记紫外线反应漆，收集了在不同光照条件下手术器械的轨迹和关键点注释。该数据集旨在为视觉手术工具姿态估计和跟踪提供实例感知语义关键点和骨骼信息，支持立体匹配，可用于评估算法的全面性。The SurgPose dataset was developed by the Robotics and Control Laboratory at the University of British Columbia. It contains approximately 120,000 surgical instrument instances categorized into 6 classes. By applying UV-reactive paint on surgical instruments, the dataset collects trajectories and key point annotations of the instruments under varying lighting conditions. This dataset aims to provide instance-aware semantic key points and skeletal information for visual surgical tool pose estimation and tracking, supports stereo matching, and can be utilized to evaluate the comprehensiveness of algorithms.

搜集汇总

数据集介绍

构建方式

SurgPose数据集的构建采用了紫外光反应性涂料对六类手术工具的关键点进行标记。通过da Vinci IS1200系统与da Vinci Research Kit (dVRK)结合，在体外组织背景下，收集了30条轨迹，并在紫外光和白光下分别获取了原始视频和关键点注释。数据集中大约包含12万个手术工具实例，每个实例都标注了7个语义关键点。此外，由于视频是成对采集的，因此2D姿态可以通过立体匹配深度提升到3D。

特点

SurgPose数据集具有以下几个显著特点：1）使用透明标记以提供精确的关键点位置，同时保持图像差异最小；2）多模态辅助注释，包括末端执行器运动学、PSM关节状态和部分级分割掩码，这些注释也可用于其他任务，如关节配置估计、运动学恢复等；3）校正立体，能够将2D姿态提升到3D；4）包含六种手术工具，为算法提供了更全面的评估。

使用方法

使用SurgPose数据集时，可以根据需要选择使用左帧或右帧进行2D姿态估计和跟踪。数据集提供了基于RAFT的立体匹配基准，作为参考深度。此外，还可以利用SAMv2等现成模型对可见视频序列进行分割，获取手术工具在每帧中的投影面积，作为关键点检测指标的缩放参数。对于3D任务，可以利用立体对提供的深度信息。

背景与挑战

背景概述

SurgPose数据集是一个专门为机器人手术工具姿态估计和跟踪而构建的数据集。该数据集由加拿大不列颠哥伦比亚大学机器人与控制实验室（RCL）的研究人员Zijian Wu、Adam Schmidt等人于2025年创建。其主要研究问题是提高机器人手术工具姿态估计的准确性和效率，这对于增强现实（AR）在手术训练中的应用以及基于学习的自主操作具有重要意义。SurgPose数据集的创建填补了机器人手术领域高质量训练和验证数据的空白，为下游应用提供了支持，并对相关领域产生了积极的影响。

当前挑战

SurgPose数据集面临的挑战主要包括：1) 机器人手术工具姿态估计的挑战：尽管在人体和动物姿态估计方面取得了显著进展，但在手术机器人领域，由于公开数据的稀缺性，这一问题仍然存在挑战。2) 构建过程中的挑战：da Vinci手术机器人系统末端执行器的运动学绝对误差相对较大，校准过程繁琐，导致校准运动学数据收集成本高昂。此外，为了在控制台相机视图中使仪器显示在其实际位置，需要进行手眼校准，而这一过程由于da Vinci患者侧操作器（PSM）的 kinematic chains 长度超过两米，具有七个自由度和18个关节，因此变得非常繁琐。

常用场景

经典使用场景

SurgPose数据集主要用于手术机器人的工具姿态估计和跟踪。通过标记关键点并收集在不同光照条件下的原始视频，SurgPose为视觉手术工具姿态估计和跟踪提供了实例感知的语义关键点和骨架。这使得SurgPose在增强现实(AR)在手术训练和学习型自主操作等下游应用中具有根本性的意义。

衍生相关工作

SurgPose数据集衍生了多个相关的工作。例如，SurgRIPE挑战赛发布了针对达芬奇手术机器人手腕的6D姿态估计数据集。此外，SurgPose还启发了其他研究人员开发手术机器人工具姿态估计和跟踪的方法。例如，Kurmann等人使用UNet架构同时进行工具识别和姿态估计，而Du等人使用全卷积网络(FCN)进行多工具姿态估计。这些相关工作都受到了SurgPose数据集的启发，并为手术机器人领域的研究做出了贡献。

数据集最近研究

最新研究方向

SurgPose数据集的创建是为了解决手术机器人工具位姿估计和跟踪中的数据稀缺问题，这对于下游应用如手术训练中的增强现实(AR)和学习基础上的自主操作至关重要。SurgPose数据集包含约12万个手术器械实例，为6个类别，每个实例都标记有7个语义关键点。该数据集的独特之处在于使用紫外(UV)反应性油漆标记关键点，从而在白光下不可见，而在紫外光下荧光，使得在两种光照条件下收集原始视频和关键点注释成为可能。此外，SurgPose数据集还包括末端执行器运动学、PSM关节状态和部分级分割掩码等注释，这些注释对于其他任务，如关节配置估计、运动学恢复等也具有潜力。此外，SurgPose数据集还支持将2D位姿提升到3D，这对于更精确的手术器械定位具有重要意义。因此，SurgPose数据集为手术机器人工具位姿估计和跟踪的研究提供了宝贵的数据资源，有助于推动该领域的研究和发展。

相关研究论文

• SurgPose: a Dataset for Articulated Robotic Surgical Tool Pose Estimation and Tracking

  不列颠哥伦比亚大学机器人与控制实验室 · 2025年