CholecTrack20

该数据集是一个详尽的数据集，它为腹腔镜手术中的多类别多工具追踪进行了精心注释，覆盖了三个视角。该数据集包含20个手术视频，总计超过35,000帧，并标注了65,000个工具实例。为了考虑到追踪中时间连贯性的重要性，该数据集被按照5:1:4的比例分为训练集、验证集和测试集，并主要关注视频而非单帧。规模上，该数据集包含20个视频，超过35,000帧，以及65,000个标注的工具实例，其任务定位于多类别多工具追踪。

This is a comprehensive dataset meticulously annotated for multi-class multi-tool tracking in laparoscopic surgery, covering three camera viewpoints. The dataset includes 20 surgical videos, totaling over 35,000 frames, with 65,000 annotated tool instances. Given the critical role of temporal coherence in tracking tasks, the dataset is divided into training, validation, and test sets at a ratio of 5:1:4, with a primary focus on video-level analysis rather than single-frame processing. In terms of scale, this dataset contains 20 surgical videos, over 35,000 frames, and 65,000 annotated tool instances, targeting the task of multi-class multi-tool tracking.

搜集汇总

数据集介绍

构建方式

在腹腔镜手术视频分析领域，构建高质量标注数据集是推动计算机辅助干预技术发展的基石。CholecTrack20数据集的构建过程体现了严谨的学术规范与临床需求的深度融合。该数据集源自20例腹腔镜胆囊切除术视频，原始视频以25帧/秒录制，为降低标注复杂度并保持时序连贯性，研究团队将视频降采样至1帧/秒进行标注。标注工作由具备手术工作流分析背景的研究人员执行，并辅以先前研究中已标注数据的整合。标注内容采用边界框精确标定手术器械尖端空间位置，并同步记录器械类别、操作者身份、手术阶段及八类视觉挑战条件（如出血、烟雾、镜头污染等）。尤为关键的是，数据集创新性地引入了三种轨迹视角的标注范式：术中视角追踪器械在整个手术过程中的完整轨迹，体内视角聚焦于器械在患者体内的存续时段，而可见性视角则限定于器械在摄像头视野内的可视片段。这种多视角标注体系通过定制化的Python标注软件实现，并经过长达两年的多轮质量校验，最终形成包含超过3.5万帧图像及6.5万个标注实例的精密数据集。

使用方法

CholecTrack20数据集为手术器械追踪及相关计算机视觉研究提供了标准化的评估基准。研究者可通过其公开的GitHub仓库获取数据集文件，文件结构按训练、验证、测试划分组织，每个手术视频文件夹包含原始MP4视频、降采样后的帧图像序列以及结构化的JSON标注文件。标注文件以帧ID为键，详细记录了每帧中所有器械实例的边界框、类别、操作者、三种轨迹ID及视觉挑战标志等属性。为便于模型开发，仓库提供了数据加载、标签格式转换（如COCO、MOT）及可视化脚本。在模型评估方面，建议使用经扩展支持CholecTrack20的TrackEval评估框架，该框架能全面计算多目标追踪的各项指标。数据集遵循CC BY-NC-SA许可，要求使用者在发表成果时进行规范引用。研究者可利用该数据集开发鲁棒的追踪算法，并进一步探索其在手术阶段识别、操作者分类、技能评估及不良事件预测等衍生任务中的应用潜力。

背景与挑战

背景概述

在计算机辅助手术干预领域，手术工具追踪是实现外科医生技能评估、安全区域估计以及人机协作等任务的关键技术。2023年，由法国斯特拉斯堡大学CAMMA实验室的Chinedu Innocent Nwoye等人联合瑞士巴塞尔大学医院团队，共同创建了CholecTrack20数据集。该数据集旨在解决腹腔镜手术中多类别多工具追踪这一核心研究问题，通过引入三种轨迹视角——术中、体内及可见性，为手术数据分析提供了前所未有的精细度。其包含20段腹腔镜胆囊切除手术视频，超过3.5万帧图像及6.5万个标注实例，涵盖了工具空间位置、类别、身份、操作者及手术视觉条件等多维属性，显著推动了手术数据科学向上下文感知的术中辅助方向发展。

当前挑战

CholecTrack20致力于应对手术工具追踪领域的双重挑战。在领域问题层面，传统方法如单目标追踪或多目标追踪难以刻画腹腔镜手术中多类别工具同时使用的复杂场景，且缺乏对工具移出视野、体内外状态转换等手术特有情境的建模能力。在构建过程中，标注工作面临严峻考验：需依据领域知识通过套管端口持续追踪工具身份，区分工具在视野内外的轨迹，并处理出血、烟雾、镜头污染等多样视觉干扰。此外，定义并标注体内轨迹这一最具手术意义但最困难的视角，需克服工具非可视退出等模糊边界问题，对标注协议的设计与执行提出了极高要求。

常用场景

经典使用场景

在腹腔镜手术视频分析领域，CholecTrack20数据集为多类别多工具追踪任务提供了经典应用场景。该数据集通过精心标注的胆囊切除术视频，支持研究者开发算法以实时追踪手术器械的时空轨迹，涵盖抓钳、双极电凝钳、钩剪等多种工具类别。其多视角轨迹定义——包括术中全程、体内阶段及可视范围内——使得模型能够适应工具移出视野或重新插入等复杂情况，为手术流程的精细化建模奠定基础。

解决学术问题

CholecTrack20数据集有效解决了手术工具追踪中多类别多对象追踪（MCMOT）的学术难题。传统数据集往往采用单一对象追踪或忽略工具类别差异，难以反映真实手术中多工具并用的复杂性。该数据集通过提供七类工具的空间位置、操作者身份及三种轨迹视角的详细标注，支持算法在遮挡、出血、镜头污染等视觉挑战下进行稳健追踪。这推动了手术数据分析从简单检测向动态行为理解的演进，为技能评估、风险预测等研究提供了可靠基准。

实际应用

在实际医疗场景中，CholecTrack20数据集的应用显著提升了计算机辅助手术系统的智能化水平。基于该数据集训练的追踪模型可集成于手术导航系统，实时监控工具使用情况，辅助外科医生优化操作路径、减少组织损伤。此外，在医疗培训中，系统能够通过工具运动轨迹分析学员的操作经济性与精准度，提供量化反馈。这些应用不仅增强了手术安全性，还为器械库存管理、术后流程复盘等临床管理环节提供了数据支持。

数据集最近研究

最新研究方向

在计算机辅助手术领域，CholecTrack20数据集的推出标志着多类别多工具追踪研究迈入新阶段。该数据集通过引入三种轨迹视角——术中、体内和可见性，为复杂内窥镜手术场景下的工具追踪提供了精细化标注框架。前沿研究聚焦于开发能够同时处理多类别工具身份识别与动态轨迹建模的深度学习算法，以应对手术视频中工具频繁进出视野、遮挡及视觉干扰等挑战。热点事件包括利用该数据集推动手术技能评估、安全区域预测和人机协作等应用，其影响在于为手术数据科学提供了关键基准，促进了智能手术系统向更精准、自适应方向发展。

相关研究论文

• CholecTrack20: A Dataset for Multi-Class Multiple Tool Tracking in Laparoscopic Surgery

  斯特拉斯堡大学, 法国国家科学研究中心, 斯特拉斯堡大学医院 · 2023年