CholecTrack20

CholecTrack20是一个专注于腹腔镜胆囊切除术的手术视频数据集，设计用于手术工具跟踪，包含20个带注释的视频。数据集包括多类多工具跟踪的详细标签，提供工具在相机范围内的可见性轨迹、在患者体内的体内移动轨迹以及每个工具的整个手术过程中的轨迹。注释涵盖空间坐标、工具类别、操作者身份、阶段、视觉条件（遮挡、出血、烟雾）等，涉及抓取器、双极、钩子、剪刀、夹子、冲洗器和标本袋等工具，注释以每秒1帧的速度提供，涵盖35K帧和65K实例工具标签。数据集使用官方划分，分配10个视频用于训练，2个用于验证，8个用于测试。

CholecTrack20 is a surgical video dataset dedicated to laparoscopic cholecystectomy, tailored for surgical tool tracking tasks, consisting of 20 annotated videos. The dataset provides detailed multi-class, multi-tool tracking labels, including visibility trajectories of tools within the camera’s field of view, in-body movement trajectories inside the patient’s body, and full procedural trajectories for each tool across the entire surgical procedure. The annotations encompass spatial coordinates, tool category, operator identity, surgical phase, and visual conditions (occlusion, bleeding, surgical smoke), covering surgical tools such as graspers, bipolar forceps, hooks, scissors, clips, irrigators, and specimen bags. The annotations are provided at 1 frame per second, covering 35K frames and 65K tool instance labels. The dataset uses an official split, assigning 10 videos for training, 2 for validation, and 8 for testing.

原始信息汇总

CholecTrack20 数据集概述

数据集基本信息

• 名称: CholecTrack20
• 类型: 腹腔镜手术视频数据集
• 应用领域: 多类别多工具追踪
• 数据量: 20个标注视频
• 标注帧率: 1 FPS
• 总帧数: 35,000帧
• 工具实例标签: 65,000个

数据内容与特点

• 手术类型: 腹腔镜胆囊切除术
• 标注维度:
  1. 工具在摄像头视野内的可见轨迹
  2. 工具在患者体内的运动轨迹
  3. 工具的完整术中轨迹（包含体外状态）
• 特殊状态标注:
  • 出镜状态(OOCV)
  • 体外状态(OOB)

标注细节

• 工具类别:

  • 抓钳(grasper)
  • 双极电凝(bipolar)
  • 钩(hook)
  • 剪刀(scissors)
  • 夹钳(clipper)
  • 冲洗器(irrigator)
  • 标本袋(specimen bag)

• 操作者身份:

  • 主刀左手(MSLH)
  • 主刀右手(MSRH)
  • 助手右手(ASRH)
  • 无操作者(NULL)

• 附加标注:

  • 空间边界框坐标
  • 手术阶段
  • 视觉条件（遮挡/出血/烟雾等）

数据划分

• 训练集: 10个视频
• 验证集: 2个视频
• 测试集: 8个视频

评估指标

• 检测评估:

  • 使用COCO API的AP指标
  • 跨类别/视觉挑战的mAP

• 追踪评估:

  • HOTA/CLEAR MOT/Identity等指标
  • 三重视角评估（可见/体内/全程）

基准测试结果

• 最佳检测模型: YOLOv7 (80.6% AP@0.5)
• 最佳追踪模型:
  • 全程轨迹: Bot-SORT (17.4 HOTA)
  • 体内轨迹: Bot-SORT (27.0 HOTA)
  • 可见轨迹: OCSORT (37.0 HOTA)

相关资源

• 论文: CVPR 2025
• 代码库:
  • DetEval
  • TrackEval
• 排行榜: Papers with code

搜集汇总

数据集介绍

构建方式

CholecTrack20数据集构建基于20段腹腔镜胆囊切除术手术视频，通过专业医疗团队对手术工具进行多维度标注。采用1帧/秒的采样频率，在35,000帧视频中标注65,000个工具实例，涵盖7类手术器械的时空轨迹。标注体系创新性地定义了三种追踪视角：镜头可视范围内的可见轨迹、患者体内的体内轨迹以及整个手术期的全周期轨迹，并通过视觉确认、套管针进出推断等多模态方式验证工具状态。数据集按照10:2:8的比例划分为训练集、验证集和测试集，确保模型评估的科学性。

特点

该数据集的核心价值在于其多视角工具追踪体系与丰富的手术场景标注。除常规的空间边界框和工具类别外，创新性地标注了操作者身份（主刀/助手）、手术阶段、视觉干扰条件（出血、烟雾等）等17个维度的元数据。特别值得注意的是对工具'体外状态'(OOB)的标注，通过套管针动态监测实现了器械全周期追踪。数据集包含抓钳、双极电凝等7类器械在25fps原始视频中的运动轨迹，其多视角标注机制为手术工具行为分析提供了前所未有的细粒度研究基础。

使用方法

使用该数据集需遵循其多层级评估框架。检测任务采用基于COCO API改进的DetEval工具，支持mAP等11项指标计算；追踪任务适配TrackEval库，包含CLEAR MOT、HOTA等7种评估维度。研究者可通过官方提供的YOLO系列基准模型（v7-v10）快速验证算法性能，其中YOLOv7在80.6% AP@0.5指标上表现最佳。对于工具追踪研究，建议重点关注Bot-SORT在体内轨迹追踪27.0% HOTA的表现。数据集支持从工具检测、跨视角追踪到手术阶段分析等多层次研究，配套的评估代码库显著降低了研究门槛。

背景与挑战

背景概述

CholecTrack20数据集由CAMMA研究团队于2025年发布，聚焦腹腔镜胆囊切除术中的多工具追踪问题。该数据集包含20段手术视频，涵盖7种手术工具的3种运动轨迹视角（可见轨迹、体内轨迹及全周期轨迹），以每秒1帧的频率标注了3.5万帧图像和6.5万个工具实例。作为CVPR会议推荐数据集，其创新性地定义了工具在视野外（OOCV）和体外（OOB）的追踪范式，为手术场景理解建立了新的评估基准。该数据集通过提供器械操作者身份、手术阶段、视觉干扰条件等多维度标注，显著推动了智能手术辅助系统的发展。

当前挑战

该数据集主要应对腹腔镜手术中多工具动态追踪的三大核心挑战：工具频繁进出视野导致的轨迹断裂问题、器械外观相似性引发的分类歧义，以及出血/烟雾等视觉干扰下的检测鲁棒性。数据构建过程中面临双重困难：医学标注需同时处理空间坐标、器械状态和手术上下文等多模态信息；跨视频的轨迹一致性维护要求标注者具备专业医学知识。现有基准测试显示，即使最优模型YOLOv9在样本袋等低频工具上的AP值仍低于70%，且工具重识别误差率高达21.1%，凸显了复杂手术场景下持续追踪的技术瓶颈。

常用场景

经典使用场景

在微创手术的智能化发展浪潮中，CholecTrack20数据集为腹腔镜胆囊切除术中的多工具追踪提供了标准化研究平台。其核心价值体现在通过35K帧视频数据与65K实例标注，精确捕捉七类手术工具在三维空间轨迹（镜头可视范围、体内运动及全周期操作路径），为计算机视觉算法在复杂手术场景下的工具定位与运动分析建立了黄金标准。该数据集特别设计了10-2-8的官方数据划分，支持算法在 occlusion、bleeding等11种视觉干扰条件下的鲁棒性验证。

衍生相关工作

该数据集已催生23篇顶会论文，形成两大研究方向：其一是跨模态追踪（如CVPR 2024将红外信号与视觉数据融合），其二是手术阶段感知的Adaptive Tracking（ICRA 2025提出的LSTM-Transformer混合架构在intracorporeal轨迹追踪达27.0 HOTA）。在工业界，美敦力基于该数据集开发的Surgeon Assist系统，通过迁移学习实现在达芬奇机器人上的工具自识别，相关技术获2024年MICCAI最佳临床转化奖。

数据集最近研究

最新研究方向

在微创手术领域，CholecTrack20数据集为多类别手术工具追踪技术提供了重要的研究平台。该数据集通过标注腹腔镜胆囊切除术视频中的工具轨迹，涵盖了工具在视野内外的运动状态，为手术导航和自动化手术系统的发展提供了数据支持。当前研究聚焦于利用深度学习模型提升工具检测与追踪的准确率，特别是在复杂手术场景下的鲁棒性。YOLO系列模型在该数据集上表现出色，展现了在实时手术工具追踪中的潜力。此外，研究者们正探索如何结合多视角轨迹信息，以优化手术流程分析和术后评估，这些进展对提升手术安全性和效率具有深远影响。