CholecT45, CholecT50

CholecT45和CholecT50是由斯特拉斯堡大学的ICube实验室创建的手术视频数据集，专注于手术动作三元组的识别。CholecT45包含45个视频，而CholecT50是CholecT45的扩展，包含50个视频。这些数据集通过三元组〈器械，动作，目标〉来规范化手术活动，总计超过151,000个三元组实例。数据集的创建过程涉及逐步发布，以支持全球研究进展的跟踪。这些数据集主要用于解决手术活动识别和工具-组织交互分析的问题，为手术数据科学领域提供了重要的基准资源。

CholecT45 and CholeT50 are surgical video datasets created by the ICube Laboratory at the University of Strasbourg, focusing on the recognition of surgical action triplets. CholecT45 comprises 45 videos, while CholecT50, an extended version of CholecT45, contains 50 videos. These datasets formalize surgical activities using triplets of the form <Instrument, Action, Target>, with a total of over 151,000 triplet instances. The datasets were developed with staged releases to support tracking of global research progress. These datasets are primarily used to address challenges in surgical activity recognition and tool-tissue interaction analysis, serving as critical benchmark resources for the field of surgical data science.

搜集汇总

数据集介绍

构建方式

CholecT45及CholecT50数据集的构建方式遵循了三个主要标准：可重复性、可访问性和彻底性。为了保持与先前已发布实验的一致性，数据集被分割为训练集、验证集和测试集。考虑到数据集是分批逐步发布的，构建了代表其利用和公平比较的设置。为了克服单个测试集中类不平衡的影响，采用了严格的k折交叉验证方法，这允许在整个数据集上交替进行评估。此外，开发了一个名为ivtmetrics的评估指标库，用于评估数据集上动作三元组的检测和识别质量。

特点

CholecT45和CholecT50数据集的主要特点包括：1.数据集包含50个腹腔镜胆囊切除术的视频，每个视频都标注了100个动作三元组类别，这些类别由6种工具、10种动词和15个目标类别组成，共有超过15万个三元组实例。2.数据集的分割模式包括Rendezvous分割、CholecTriplet挑战分割和官方交叉验证分割，以支持不同的研究目的。3.评估指标包括识别平均精度（AP）、解耦动作三元组预测和检测平均精度，以及三元组关联得分（TAS），用于全面评估模型的性能。

使用方法

使用CholecT45和CholecT50数据集的方法包括：1.选择合适的数据集分割模式，如Rendezvous分割、CholecTriplet挑战分割或官方交叉验证分割，以满足研究需求。2.使用ivtmetrics库进行模型评估，该库提供了用于三元组识别和检测/定位评估的指标类。3.在PyTorch和TensorFlow等深度学习框架中重新实现和评估基准模型，如Tripnet、Attention Tripnet和Rendezvous，以获得性能基线。4.使用交叉验证数据分割策略，对模型在CholecT45和CholecT50数据集上的每个类别进行性能分析，以评估模型的泛化能力。

背景与挑战

背景概述

在人工智能技术的推动下，各领域的研究与开发日益深入。然而，介入医学领域在引入大规模数据科学方面却相对滞后，部分原因在于缺乏大型标注数据集。尽管在创建中小型数据集方面已做出巨大努力，但在标准化数据使用以跟踪全球研究进展方面却鲜有作为。为了解决这一问题，CholecT45和CholecT50数据集应运而生。这两个数据集分别包含45和50个腹腔镜胆囊切除术的视频，并以三元组形式（<工具，动词，目标>）对手术活动进行标注。CholecT45是CholecT50数据集的首次公开发布，旨在为手术活动三元组识别研究提供标准数据分割和评估指标。该数据集的创建时间为2022年4月，由法国斯特拉斯堡大学ICube实验室的Chinedu Innocent Nwoye和IHU Strasbourg的Nicolas Padoy等人领导的研究团队负责。CholecT45和CholecT50数据集的引入，为手术活动识别研究提供了重要的数据资源，推动了相关领域的发展。

当前挑战

CholecT45和CholecT50数据集面临的挑战主要包括：1）数据分割策略的挑战：如何设计合理的数据分割策略，以确保研究方法的评估具有一致性和可比性；2）评估指标的挑战：如何定义和标准化评估指标，以准确评估模型在手术活动三元组识别和定位方面的性能；3）模型基准测试的挑战：如何在不同的深度学习框架（如PyTorch和TensorFlow）中实现和评估模型，以提供一个公正的基准测试；4）数据集使用的挑战：如何确保数据集的公平使用，避免泄露测试集数据，从而确保竞赛的公正性。为了解决这些挑战，研究团队提出了标准数据分割策略、评估指标库ivtmetrics以及基准测试方法，以支持未来研究。

常用场景

经典使用场景

CholecT45 & CholecT50 数据集为腹腔镜胆囊切除术提供了详细的数据，包括手术活动作为三元组的表示形式，即〈仪器，动词，目标〉。该数据集最经典的使用场景是用于评估手术动作三元组识别和定位的深度学习模型。通过在 CholecT45 & CholecT50 数据集上训练和测试模型，研究人员可以评估模型在识别手术中使用的仪器、动作和目标方面的性能。此外，该数据集还可以用于开发用于手术辅助的计算机视觉系统，例如自动手术阶段识别、工具检测和动作识别。

实际应用

CholecT45 & CholecT50 数据集在实际应用中可用于开发用于手术辅助的计算机视觉系统。这些系统可以自动识别手术中使用的仪器、动作和目标，从而帮助外科医生更好地了解手术过程。此外，这些系统还可以用于自动识别手术阶段和工具，以帮助外科医生更好地控制手术过程。最后，这些系统还可以用于评估外科医生的手术技能，以帮助改进手术过程。

衍生相关工作

CholecT45 & CholecT50 数据集衍生了许多相关工作。例如，一些研究人员使用该数据集来开发用于手术动作三元组识别和定位的深度学习模型。此外，一些研究人员还使用该数据集来开发用于手术辅助的计算机视觉系统。最后，一些研究人员还使用该数据集来评估外科医生的手术技能。