PhaKIR 2024 challenge

PhaKIR 2024挑战数据集由德国三个不同医疗机构收集的13个完整腹腔镜胆囊切除术视频组成。该数据集包含三个任务的统一标注：手术阶段识别、手术器械关键点估计和手术器械实例分割。该数据集支持在同一数据集中对手术器械定位和手术过程上下文进行联合研究，并支持在整个手术过程中整合时间信息。数据集旨在为开发RAMIS中的时间感知、上下文驱动的方法提供独特的基准，并为手术场景理解的未来研究提供高质量的资源。

The PhaKIR 2024 Challenge Dataset comprises 13 complete laparoscopic cholecystectomy videos collected from three distinct medical institutions in Germany. This dataset provides unified annotations for three core tasks: surgical phase recognition, surgical instrument keypoint estimation, and surgical instrument instance segmentation. It supports joint research on surgical instrument localization and procedural context within the same dataset, as well as the integration of temporal information across the entire surgical workflow. The dataset aims to offer a unique benchmark for developing temporal-aware, context-driven methods in robot-assisted minimally invasive surgery (RAMIS), and serve as a high-quality resource for future research on surgical scene understanding.

搜集汇总

数据集介绍

构建方式

PhaKIR 2024挑战赛数据集是一个专为计算机辅助和机器人辅助微创手术（RAMIS）设计的多中心数据集，包含13个完整的腹腔镜胆囊切除手术视频，这些视频来自三个不同的医疗机构。数据集的构建过程包括严格的视频采集、匿名化处理以及三阶段标注流程，确保高质量的标注。每个视频帧都标注了手术阶段、手术器械的实例分割和关键点定位信息。数据集的标注由医学专业人士完成，并经过两次独立审核以确保准确性。

特点

PhaKIR数据集的特点在于其多中心来源和全面的标注信息。数据集涵盖了手术阶段识别、器械实例分割和关键点估计三个相互关联的任务，支持对整个手术过程中的时间信息进行整合。此外，数据集包含了真实手术条件下的各种挑战，如烟雾、图像模糊、运动模糊和遮挡等，使得该数据集能够更好地模拟现实世界的手术场景。

使用方法

PhaKIR数据集的使用方法包括三个主要任务：手术阶段识别、器械实例分割和器械关键点估计。参与者可以使用提供的完整手术视频序列，利用时间信息来提高算法的准确性和鲁棒性。数据集的使用需要遵循特定的评估指标，如F1分数、平衡准确率（BA）、Dice相似系数（DSC）、平均精度（mAPIoU）和Hausdorff距离（95% HD）。此外，参与者可以通过Docker容器提交算法，确保技术功能性和输出格式的合规性。

背景与挑战

背景概述

PhaKIR 2024挑战赛数据集是专为计算机辅助和机器人辅助微创手术（RAMIS）领域设计的多任务基准数据集，由德国雷根斯堡医学图像计算实验室（ReMIC）等多个国际机构联合创建。该数据集包含13例完整的腹腔镜胆囊切除术视频，采集自三家不同医疗机构，统一标注了手术阶段识别、器械关键点估计和器械实例分割三项相互关联的任务。与现有数据集相比，PhaKIR的创新性在于支持对同一数据中器械定位与手术流程上下文的联合研究，并允许整合整个手术过程的时间信息。数据集通过严格的三阶段标注流程确保注释质量，并遵循BIAS指南进行生物医学图像分析挑战的透明化报告。

当前挑战

PhaKIR数据集面临的核心挑战体现在两个方面：领域问题挑战方面，需解决手术阶段动态识别（如烟雾、运动模糊等干扰下的阶段过渡判断）、器械实例的精确分割（特别是重叠器械的区分）以及关键点定位（针对不同器械类型的可变关键点数量）；构建过程挑战方面，包括多中心数据标准化（不同医疗机构的器械型号与手术风格差异）、视频序列的长期时间建模（23-60分钟连续视频的时空关联分析）以及标注一致性保障（19类器械的实例级分割与关键点可见性标注）。此外，数据不平衡问题突出——某些器械类别在训练集中出现频次不足5次，而常见类别超过5000次，这对算法的泛化能力提出严峻考验。

常用场景

经典使用场景

PhaKIR 2024 challenge数据集专为机器人辅助微创手术（RAMIS）领域设计，其经典使用场景集中在手术视频的多任务联合分析。该数据集通过提供完整的腹腔镜胆囊切除手术视频序列，支持研究者同时开展手术阶段识别、器械关键点估计和器械实例分割三项关联任务。在手术阶段识别方面，数据集可用于开发基于时序上下文的手术流程分析模型；在器械分析任务中，其多中心采集的特性使得模型能够学习不同医疗环境下器械的泛化特征。

实际应用

在实际应用层面，PhaKIR数据集可直接支持多项临床智能系统开发：手术阶段识别模型可用于实时手术进度监控和麻醉时间预测；器械实例分割技术可集成到内窥镜导航系统中实现自动器械跟踪；关键点估计结果则能为手术机器人提供器械姿态信息，避免与风险结构的碰撞。此外，该数据集的多中心特性使其特别适合开发具有跨医院泛化能力的手术AI系统，对优化手术室管理和提升手术安全性具有重要价值。

衍生相关工作

该数据集已衍生出多项创新研究：在模型架构方面，优胜团队uniandes24提出的MuST框架通过多尺度时空Transformer显著提升了阶段识别性能；jmees inc.团队将SAM生成的伪标签与Mask2Former结合，开创了半监督的器械分割新范式。在方法论层面，参赛方案普遍采用Transformer架构，如Surgformer、CAFormer等，推动了时序建模技术在手术分析中的应用。此外，数据集还催生了针对手术场景的专用评估指标和跨任务联合训练策略，为后续多模态手术AI研究提供了重要参考。