SurgT

SurgT数据集由帝国理工学院哈姆林中心创建，包含157个立体内窥镜视频，用于评估软组织跟踪算法。数据集涵盖20个临床案例，视频平均时长30秒，主要用于鼓励无监督深度学习方法的发展。数据集内容包括不同分辨率和编码的视频，以及用于校准立体相机的参数。该数据集的应用领域包括自主机器人手术和其他数字外科技术，旨在解决手术中软组织跟踪的挑战。

The SurgT Dataset was developed by the Hamlyn Centre at Imperial College London. It comprises 157 stereoscopic endoscopic videos intended for evaluating soft tissue tracking algorithms. The dataset covers 20 clinical cases, with each video averaging 30 seconds in duration, and is primarily designed to promote the development of unsupervised deep learning methods. The dataset includes videos with varying resolutions and encoding formats, as well as parameters for stereoscopic camera calibration. Its application fields include autonomous robotic surgery and other digital surgical technologies, aiming to address the challenges of soft tissue tracking during surgical procedures.

搜集汇总

数据集介绍

构建方式

在机器人辅助微创手术领域，软组织追踪是计算机辅助干预的关键任务，但长期以来缺乏标准化的评估基准。SurgT数据集应运而生，其构建过程体现了严谨的科学方法。该数据集汇集了来自20个临床病例的157个立体内窥镜视频，并提供了相机标定参数。数据源自多个公开数据集，包括Hamlyn数据集、SCARED数据集和肾脏边界数据集，确保了来源的多样性与代表性。视频被精心划分为训练集、验证集和测试集，其中训练集未标注，旨在鼓励无监督学习算法的开发。数据标注采用专门开发的工具，由专家在立体校正图像上手动追踪关键点，并利用视差信息动态计算边界框大小，使其能随目标与相机距离自适应变化，这一过程确保了标注的高精度与三维空间的一致性。

特点

SurgT数据集作为首个专注于手术场景软组织追踪的标准化基准，其特点鲜明且具有挑战性。数据集涵盖了广泛的真实手术场景，包括人体活体手术和新鲜猪尸体实验，避免了使用幻影模型，从而高度模拟了临床环境的复杂性。视频数据呈现出显著的异质性，体现在不同的分辨率、帧率、编码格式以及照明条件上。尤为关键的是，数据集包含了手术场景中常见的多种挑战性因素，如手术器械遮挡、组织形变、镜面高光、血液和烟雾干扰等。此外，部分视频由手持腹腔镜采集，引入了因手部震颤导致的不稳定运动，这进一步增加了追踪难度，为评估算法在动态和不可预测环境下的鲁棒性提供了真实考验。

使用方法

为促进软组织追踪算法的公平比较与持续发展，SurgT提供了一套完整的基准测试框架。研究者可利用公开的数据集和Python评测工具包进行算法开发与评估。使用流程遵循短期追踪器评估协议：算法在视频序列中预定义的“锚点”处初始化，接收初始边界框，随后需在后续帧中持续输出目标位置，直至序列结束。评估体系全面，包含二维与三维指标。二维评估侧重于边界框的重叠度与中心点误差，而三维评估则利用立体标定参数，将追踪结果投影至三维空间，计算其位置精度。最终排名依据预期平均重叠度得分，该指标综合衡量了追踪器在整个视频长度上保持与真值重叠一致性的能力。这一严谨的评估方法旨在推动能够应对真实手术复杂性的鲁棒追踪算法的进步。

背景与挑战

背景概述

在计算机辅助手术领域，软组织追踪是实现手术自主化与增强现实应用的核心技术。SurgT数据集由伦敦帝国理工学院哈姆林机器人手术中心等机构于2022年MICCAI会议期间联合创建，旨在填补该领域标准化评估框架的空白。该数据集汇集了来自20个临床案例的157个立体内窥镜视频，并提供了相机标定参数，专注于推动无监督深度学习算法在动态手术场景中的发展。通过建立首个软组织追踪基准测试，SurgT不仅促进了高精度追踪方法的创新，还为手术机器人与数字外科技术的进步奠定了数据基础。

当前挑战

SurgT数据集致力于解决手术场景中软组织实时追踪的难题，其核心挑战在于应对内窥镜视频的动态复杂性。具体而言，手术环境中存在器械遮挡、组织形变、镜面反射及血液烟雾干扰等因素，导致追踪目标的外观与运动模式持续变化。此外，数据构建过程面临多重困难：一是标注工作需在立体图像中手动跟踪关键点，并确保符合极线几何约束，耗时且易受主观误差影响；二是视频来源多样，分辨率、帧率与编码格式不一，增加了数据预处理与算法泛化的难度；三是缺乏标注数据，迫使研究依赖无监督学习，但现有方法在精度与鲁棒性上仍与传统算法竞争激烈。

常用场景

经典使用场景

在机器人辅助微创手术领域，软组织动态追踪是提升手术自主性的核心技术。SurgT数据集通过提供157段来自真实临床案例的立体内窥镜视频，构建了首个针对软组织追踪的标准化基准。该数据集最经典的使用场景在于评估和比较各类追踪算法在复杂手术环境下的性能，例如在组织变形、器械遮挡、镜面高光及烟雾干扰等挑战性条件下，算法能否持续稳定地跟踪以边界框表示的软组织区域。其设计初衷是推动无监督深度学习方法的研发，以应对手术场景中标注数据稀缺的难题。

实际应用

SurgT数据集的实际应用紧密关联于下一代智能手术系统的开发。其催生的高精度软组织追踪技术，是实现手术机器人自主操作的关键使能器。具体应用场景包括：在自主组织扫描中，机器人需要实时追踪目标组织的三维位置以精确放置成像探头；在自主组织操作（如缝合、切除）中，追踪技术能确保手术器械相对于动态组织的精准相对运动；在增强现实手术导航中，准确的软组织表面追踪是实现肿瘤、血管等虚拟信息稳定叠加于内窥镜视频画面的基础。这些应用对提升手术安全性、精准度及降低医生操作负担具有深远影响。

衍生相关工作

围绕SurgT数据集，已衍生出一系列具有代表性的经典工作，这些工作集中展示了解决手术软组织追踪问题的不同技术路径。在SurgT挑战赛中，优胜方案ICVS-2Ai采用了基于ARFlow的无监督稠密光流估计方法，利用光度损失和正则化损失进行训练。Jmees团队则创新性地将传统CSRT追踪器与基于深度学习的器械分割、立体视差校正及反向验证相结合。其他参赛方案如ETRI基于无监督深度追踪框架，MEDCVR对TransT模型进行手术数据上的无监督微调，SRV利用掩码自编码器进行特征提取并回归边界框位移。这些工作共同构成了该领域早期探索的宝贵技术图谱，为后续研究提供了丰富的借鉴与比较基线。