STIR Challenge 2024

STIR Challenge 2024数据集是由多个研究机构合作创建的，用于点追踪算法的评估。该数据集包含60个视频序列，每个序列包括开始和结束时的红外图像、可见光视频以及对应的标记点。这些数据来源于活体和离体的情况，用于评估算法在手术中点追踪的准确性和效率。

The STIR Challenge 2024 Dataset was collaboratively developed by multiple research institutions for the evaluation of point tracking algorithms. This dataset includes 60 video sequences, each of which contains infrared images captured at the beginning and end, visible light videos, and corresponding marker points. These data are derived from both in vivo and in vitro scenarios, and are utilized to evaluate the accuracy and efficiency of point tracking algorithms during surgical procedures.

搜集汇总

数据集介绍

构建方式

STIR Challenge 2024数据集构建采用了创新的红外标记技术，通过在手术过程中使用吲哚菁绿（ICG）墨水对组织进行标记，生成地面真实数据。数据采集通过达芬奇Xi系统完成，每个视频片段包含起始和结束的红外图像、荧光墨水的分割掩码以及可见光视频。数据集包含60个序列，平均长度为8.9秒，共标记了496个点。为确保数据质量，标记过程经过严格的噪声过滤和验证，包括通过阈值分割和形态学处理去除噪声，并通过立体视觉技术计算3D位置。

特点

STIR Challenge 2024数据集的特点在于其高精度的红外标记和多样化的手术场景覆盖。数据集包含体内和体外两种组织类型，涵盖了不同的手术动作和组织运动模式。每个序列的红外标记点提供了精确的2D和3D位置信息，适用于评估算法的跟踪精度和鲁棒性。此外，数据集的视频分辨率高达1280×1024像素，确保了丰富的视觉细节。数据集的多样性和高质量标注使其成为评估手术中组织运动跟踪算法的理想基准。

使用方法

STIR Challenge 2024数据集的使用方法包括算法提交和评估两个主要步骤。参与者需将其跟踪算法封装为Docker容器，接收视频序列和起始点列表，并在流式处理模式下估计每个点的运动轨迹。算法输出的最终位置将与地面真实标记点进行比较，计算2D或3D的欧氏距离误差。评估指标包括多阈值精度（δavg）和计算效率（延迟分布）。数据集支持2D和3D跟踪任务的评估，并提供了基线模型和评估代码，方便参与者快速验证和优化算法。

背景与挑战

背景概述

STIR Challenge 2024数据集由Intuitive Surgical Inc.、慕尼黑工业大学、捷克技术大学等多家国际知名研究机构联合开发，旨在推动手术中组织运动追踪算法的研究。该数据集于2024年作为MICCAI EndoVis挑战赛的一部分发布，包含60个立体视频序列，涵盖体内和体外场景，平均每个序列标注8个荧光标记点。通过红外标记技术获取高精度地面真实数据，解决了手术场景中组织变形、器械遮挡等复杂环境下的空间理解难题，为手术导航、虚拟标记等下游任务提供了关键数据支持。

当前挑战

STIR Challenge 2024面临的核心挑战包括：1) 算法需在组织大变形、器械遮挡和光照变化等复杂手术场景中实现亚毫米级追踪精度；2) 构建过程中需克服荧光标记点动态模糊、立体匹配误差等数据采集难题，并通过形态学处理和多视角一致性验证降低标注噪声。此外，实时性要求（7FPS以上）与算法精度的平衡，以及立体视频中左右视角信息融合的优化，均为该领域亟待突破的技术瓶颈。

常用场景

经典使用场景

STIR Challenge 2024数据集在手术视觉领域被广泛用于评估点跟踪算法的性能。该数据集通过红外标记技术提供精确的组织运动轨迹，为算法在复杂手术环境中的表现提供了可靠的基准。经典使用场景包括在机器人辅助手术中实时跟踪组织变形，以及在虚拟组织标记和三维重建任务中验证算法的准确性。数据集的设计特别注重流式处理能力，确保算法在实际手术中的实时性要求。

实际应用

在实际应用中，STIR Challenge 2024数据集直接支持了多项临床关键技术的发展。其评估的算法可应用于机器人手术中的自主探针扫描系统，通过实时组织跟踪提升手术器械的导航精度。数据集还推动了虚拟标志技术的进步，使术中对组织解剖结构的数字化标注成为可能。在手术培训领域，基于该数据集开发的算法能够生成高保真的组织运动模拟，为医学生提供更真实的训练环境。

衍生相关工作

该数据集衍生出一系列经典工作，包括团队ICVS 2AI提出的遮挡感知光流方法，通过自监督训练显著提升了标记数据稀缺场景下的跟踪鲁棒性。团队MedTrack开发的动态多帧点跟踪（DMPTracking）框架创新性地结合了MFT与CoTracker，解决了长时遮挡下的跟踪漂移问题。此外，团队CUHK的TAP-Endo通过三阶段训练策略将SEA-RAFT模型适配到内窥镜领域，为域适应方法在手术视觉中的应用提供了范例。这些工作共同推动了组织跟踪算法在精度与效率上的边界。