Surgical Tattoos in Infrared (STIR)

Surgical Tattoos in Infrared (STIR)是由英属哥伦比亚大学电气工程系的研究团队开发的一个创新数据集，专门用于评估和改进内窥镜环境中的组织跟踪和映射技术。该数据集通过使用IR荧光染料（ICG）标记组织点，并收集可见光视频片段，实现了标记的持久性且对可见光谱算法不可见。STIR包含数百个立体视频片段，涵盖体内和体外场景，具有在IR光谱中标记的起始和结束点。数据集的创建过程涉及多种实验和技术，确保了标记的精确性和数据的质量。STIR的应用领域广泛，旨在解决内窥镜手术中组织跟踪和映射的准确性和效率问题，从而提高手术的安全性和精确性。

Surgical Tattoos in Infrared (STIR) is an innovative dataset developed by a research team from the Department of Electrical and Computer Engineering, University of British Columbia, dedicated to evaluating and enhancing tissue tracking and mapping techniques in endoscopic environments. This dataset marks tissue points using infrared (IR) fluorescent dye (indocyanine green, ICG) and collects visible-light video clips, ensuring that the markers are both persistent and undetectable by visible-spectrum algorithms. STIR contains hundreds of stereoscopic video clips covering both in vivo and in vitro scenarios, with labeled start and end points in the IR spectrum. The development of this dataset involves diverse experiments and technical approaches, guaranteeing the precision of the markers and the overall quality of the dataset. STIR has wide-ranging applications, targeting the resolution of accuracy and efficiency challenges in tissue tracking and mapping during endoscopic surgery, ultimately improving the safety and precision of surgical procedures.

搜集汇总

数据集介绍

构建方式

在手术机器人领域，组织运动追踪的量化评估对推动图像引导与自动化技术至关重要。STIR数据集的构建采用了一种创新的红外荧光标记方法，通过在活体与离体组织表面使用吲哚菁绿（ICG）染料进行精确定点纹身，形成在可见光下不可见、仅在红外光谱中显影的持久标记点。数据采集过程借助达芬奇Xi手术机器人系统，在切换至Firefly红外模式时捕获标记点的起始与终止位置，同时录制可见光下的立体视频序列。每个数据样本包含左右摄像头的同步视频、起始与终止帧的红外图像，以及经过分割处理的二进制标记点标注，最终形成包含576个视频片段、超过3000个标记点轨迹的完整数据集。

使用方法

STIR数据集为组织追踪与映射算法的性能评估提供了标准化框架。研究者可利用数据集提供的可见光视频序列，测试各类光流或特征追踪算法在复杂手术环境中的表现。评估时，算法在视频起始帧以红外分割标注点初始化，通过逐帧追踪预测终止位置，并与红外标注的真实终止点进行比对。数据集支持端点误差、倒角距离等二维与三维量化指标计算，并可结合立体视觉深度信息进行三维运动分析。此外，数据集的活体与离体分类允许算法在不同生理环境下的性能对比，为手术导航、SLAM系统等临床应用提供验证基础。

背景与挑战

背景概述

在手术机器人领域，组织表面运动追踪是实现下游应用的关键技术，这些应用包括视觉同步定位与建图、结肠镜检查覆盖范围估计以及图像引导手术。现有数据集多采用刚性环境、可见标记或需人工标注视频特征点，分别存在普适性不足、易被算法识别或成本高昂且易出错等局限。为此，不列颠哥伦比亚大学与直觉外科公司的研究团队于2024年推出了红外手术纹身数据集，该数据集创新性地采用吲哚菁绿荧光染料标记组织点，通过采集可见光视频片段与红外光谱的起止点标注，构建了包含数百个体内外立体视频片段、超过3000个标注点的资源库，为量化组织追踪与建图方法性能提供了突破性工具。

当前挑战

该数据集致力于解决内窥镜环境下组织变形追踪与建图算法的性能量化难题，其核心挑战在于如何获取既持久存在又对可见光算法不可见的精准地面真值标记。传统方法依赖人工标注或可见标记，前者易引入主观偏差且效率低下，后者会改变组织表面纹理特征。在构建过程中，研究团队面临多重技术挑战：需开发能在生物组织表面稳定附着且仅对红外光谱显影的标记材料；设计适用于微创手术通道的标记工具与操作流程；确保在动态手术场景中红外与可见光图像采集的时空同步性；以及处理因组织灌注导致的标记点微量渗血等可见性干扰问题。

常用场景

经典使用场景

在手术机器人视觉导航领域，STIR数据集为组织运动跟踪与映射算法的性能评估提供了标准化基准。该数据集通过红外荧光标记技术，在体内外场景中采集了数百段立体视频片段，包含超过3000个标记点的精确运动轨迹。研究者可利用这些带有起始与终止红外帧标注的视频序列，量化分析各类跟踪算法在复杂手术环境下的表现，特别是在处理组织形变、器械遮挡和光照变化等挑战时的鲁棒性。

解决学术问题

STIR数据集有效解决了手术视觉中组织跟踪算法缺乏可靠评估基准的学术难题。传统方法依赖刚性环境、可见标记或人工标注，存在通用性不足、易被算法识别或标注成本高等缺陷。STIR通过不可见的红外标记实现了对组织表面点的持久追踪，为量化二维与三维跟踪误差提供了精确地面真值。这使研究者能够客观比较不同算法的端点误差、倒角距离等指标，推动变形组织跟踪、视觉SLAM和运动补偿等核心方向的方法创新与验证。

实际应用

在实际临床场景中，STIR数据集支持的手术组织跟踪技术可显著提升微创手术的精准性与安全性。基于该数据集开发的算法能够实现术中实时组织形变补偿，为肿瘤切除等精细操作提供稳定的增强现实导航。在结肠镜检查中，类似的红外标记方法可用于病灶区域的持久标识与重定位，提高复查效率。此外，该技术还可扩展至自动化组织扫描、手术覆盖范围评估等场景，为智能手术机器人的感知系统提供关键数据支撑。

数据集最近研究

最新研究方向

在手术机器人视觉导航领域，组织形变追踪与三维重建的精准量化一直是制约技术临床转化的关键瓶颈。STIR数据集的推出，通过创新的红外荧光标记技术，为这一领域提供了首个兼具标记持久性与视觉不可见性的高精度评估基准。该数据集融合了体内与体外场景的立体视频序列，涵盖超过3000个标记点的运动轨迹，直接推动了基于深度学习的光流算法（如RAFT）、经典相关滤波器（CSRT）以及专为手术场景设计的稀疏神经网络（SENDD）在组织追踪性能上的系统比较与优化。当前研究前沿聚焦于如何利用STIR提供的密集时空真值，开发能够处理术中遮挡、大幅形变与实时重定位的长时追踪框架，同时探索标记技术在术前术中配准、超声引导活检等扩展应用中的潜力，为手术自动化与增强现实系统的可靠部署奠定实证基础。

相关研究论文

• Surgical Tattoos in Infrared: A Dataset for Quantifying Tissue Tracking and Mapping

  英属哥伦比亚大学电气工程系 · 2024年