CholecTrack20

CholecTrack20是由斯特拉斯堡大学等机构创建的一个大型数据集，专注于腹腔镜手术中的多类别多工具跟踪。该数据集包含20个腹腔镜视频，超过35,000帧，共标注了65,000个工具实例，详细记录了工具的空间位置、类别、身份、操作者、阶段和手术视觉条件。数据集的创建过程经过精心设计，确保了标注的准确性和完整性。CholecTrack20数据集主要用于支持手术辅助系统的发展，解决手术视频中工具跟踪的复杂性和多样性问题，为手术技能评估、安全区估计和手术团队与机器的协作提供数据支持。CholecTrack20 is a large-scale dataset created by institutions including the University of Strasbourg, focusing on multi-class and multi-tool tracking in laparoscopic surgery. This dataset contains 20 laparoscopic videos with over 35,000 frames and a total of 65,000 annotated tool instances, which comprehensively record the spatial positions, categories, identities, operators, surgical phases and visual conditions of surgical instruments. The development of the CholecTrack20 dataset was rigorously designed to ensure the accuracy and completeness of its annotations. The CholecTrack20 dataset is primarily used to support the development of surgical assistance systems, addressing the complexity and diversity of tool tracking in surgical videos, and providing data support for surgical skill assessment, safety zone estimation, and collaboration between surgical teams and machines.

搜集汇总

数据集介绍

构建方式

CholecTrack20数据集的构建旨在为腹腔镜手术中的多类别多工具跟踪提供精确且适应性强的数据支持。该数据集由20个腹腔镜胆囊切除术视频组成，包含超过35,000帧和65,000个工具实例的详细标注，包括空间位置、类别、身份、操作者、阶段和手术视觉条件。数据集的构建分为两个阶段：工具跟踪标签协议的正式化以及数据集的生成。首先，通过跟踪工具的手术操作者并根据器械进出身体的时刻，为每个工具实例分配唯一轨迹身份。接着，在视频帧中标注工具的空间坐标、类别和操作者信息，并记录工具的可见性、遮挡状态、烟雾、出血、模糊、光照反射、镜头污染和拥挤情况等视觉挑战。最后，数据集被分为训练集、验证集和测试集，每个集包含不同数量的视频，以满足不同研究需求。

特点

CholecTrack20数据集的特点在于其多视角跟踪的构建方式。数据集提供了三种轨迹视角：手术室内轨迹、体内轨迹和可见轨迹，分别代表工具在整个手术过程中的生命周期、在体内的使用时间以及相机视野内的可见时间。这种多视角的跟踪方式能够提供对手术工具使用情况的全面了解，支持诸如工具使用监测、库存管理、工具使用优化、手术技能评估等多种应用。此外，数据集还包含了详细的标签分析，揭示了工具类别、操作者和手术阶段的相互关联，为数据预处理和特征选择提供了指导。

使用方法

CholecTrack20数据集的使用方法包括数据集的下载、标签的提取和转换、模型的训练和评估。数据集以ZIP文件的形式提供，包含三个子目录，分别对应训练集、验证集和测试集。每个子目录中包含视频文件、采样帧和标签文件。标签文件为JSON格式，记录了每帧中每个工具的边界框、类别、操作者和轨迹身份等信息。研究人员可以使用提供的脚本将标签转换为其他数据集的格式，方便使用现有的模型进行微调。同时，数据集还支持TrackEval等跟踪评估指标，方便研究人员评估跟踪算法的性能。

背景与挑战

背景概述

CholecTrack20 数据集是一个专门为腹腔镜手术中的多类多工具跟踪而设计的广泛数据集。该数据集由法国斯特拉斯堡大学的 ICube 研究中心的研究人员创建，于 2023 年 12 月发布。主要研究人员包括 Chinedu Innocent Nwoye、Kareem Elgohary、Anvita Srinivas、Fauzan Zaid、Joël L. Lavanchy 和 Nicolas Padoy。该数据集旨在解决现有数据集在手术工具跟踪方面的局限性，提供更精确和适应性更强的跟踪形式化，以适应内镜手术的复杂性。CholecTrack20 包含 20 个腹腔镜胆囊切除术视频，超过 35,000 帧和 65,000 个带有详细信息的工具实例，包括空间位置、类别、身份、操作者、阶段和手术视觉条件。该数据集旨在满足不断发展的辅助需求，并为计算机辅助干预提供支持。

当前挑战

CholecTrack20 数据集面临的主要挑战包括手术场景的复杂性，其中同时使用多种不同类别的工具。现有的跟踪工作通常将跟踪视为单对象跟踪 (SOT)、每类一个工具的多类跟踪 (MCT) 或所有工具都属于同一类的多对象跟踪 (MOT)，这并未考虑到这种复杂性。这推动了多类多对象跟踪 (MCMOT) 领域的需求，该领域在很大程度上尚未得到探索。现有的手术数据集通常反映了通用视觉数据集中的跟踪注释，这些数据集主要使用 MOT 模型。现有的通用视觉 MCMOT 数据集缺乏反映手术挑战的相关场景，例如出血、相机污染等。此外，缺乏全面、大规模和精心注释的公共数据集，这些数据集专门针对这一复杂问题。现有的数据集往往过于通用和缺乏灵活性，缺乏手术背景，这在手术器械移动到相机视野之外时变得明显，这使得难以界定工具轨迹的起始和终止点。CholecTrack20 数据集通过考虑三个关键视角来解决这些挑战：术中、体内和可见性，以提供对手术需求的多样化和同时洞察。该数据集对于在工具跟踪和相关的相位识别、工具检测、事件和动作识别、手术操作者分类等方面的 AI 模型开发至关重要，并为基础的技能评估和不良事件预测提供基础标签。

常用场景

经典使用场景

CholecTrack20数据集在微创手术领域具有重要的应用价值。该数据集包含20段腹腔镜胆囊切除术视频，共超过35,000帧，并标注了65,000个工具实例，包括空间位置、类别、身份、操作者、阶段和手术视觉条件等详细信息。这使得CholecTrack20成为研究手术工具跟踪、动作识别、事件检测、手术操作者分类等任务的理想数据集。该数据集的三种视角（手术内、体内和可见性）为研究者提供了对手术需求的多样化洞察，有助于开发更精确、更适应手术环境的跟踪算法。

实际应用

CholecTrack20数据集在实际应用中具有广泛的前景。首先，它可以用于辅助手术技能评估，通过分析工具的运动轨迹来评估手术操作的精确度和效率。其次，该数据集可以用于手术风险估计和不良事件预测，通过分析工具的运动轨迹来识别潜在的风险因素。此外，CholecTrack20还可以用于手术操作培训，通过模拟手术环境来训练手术操作者。

衍生相关工作

CholecTrack20数据集的发布推动了相关领域的研究进展。基于该数据集，研究者开发了多种先进的手术工具跟踪算法，如基于深度学习的多视角跟踪算法、基于图神经网络的轨迹关联算法等。此外，该数据集还促进了手术动作识别、事件检测、手术操作者分类等任务的研究，为计算机辅助手术领域的发展提供了重要的数据支持。