Cholec80, CholecT50, CholecT45, CholecT40, CholecTrack20, CholecSeg8k, Cholec80+HTA, HeiCo, MultiBypass140, Endoscapes-CVS201, Endoscapes-BBox201, Endoscapes-Seg50

这是一个包含多个手术AI数据集的仓库，涵盖了视频和图像数据，用于不同的手术类型和过程，如胆囊切除术等。每个数据集都详细描述了其类型、手术类型、使用的工具和目标等。

This repository encompasses a collection of multiple surgical AI datasets, including both video and image data, which are utilized across various surgical types and procedures, such as cholecystectomy. Each dataset is meticulously detailed with its type, surgical category, instruments employed, and objectives.

原始信息汇总

数据集概述

1. Cholec80

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Frame
• Instrument ID: Y
• Target: N
• Verb: N
• Triplet: N
• Phase: Y
• Number of Cases: 80

2. CholecT50

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Frame
• Instrument ID: Y
• Target: Frame
• Verb: Frame
• Triplet: Y
• Phase: N
• Number of Cases: 50

3. CholecT45

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Frame
• Instrument ID: Y
• Target: Frame
• Verb: Frame
• Triplet: Y
• Phase: N
• Number of Cases: 45

4. CholecT40

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Frame
• Instrument ID: Y
• Target: Frame
• Verb: Frame
• Triplet: Y
• Phase: N
• Number of Cases: 40

5. CholecTrack20

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Box
• Instrument ID: Y
• Target: N
• Verb: N
• Triplet: N
• Phase: Y
• Number of Cases: 20

6. CholecSeg8k

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Pixel
• Instrument ID: Y
• Target: Pixel
• Verb: N
• Triplet: N
• Phase: N
• Number of Cases: 17

7. Cholec80+HTA

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: N
• Instrument ID: N
• Target: N
• Verb: N
• Triplet: N
• Phase: Y
• Number of Cases: 80

8. HeiCo

• Modality: Video
• Procedure: Colorectal
• Instrument: Pixel
• Instrument ID: N
• Target: N
• Verb: N
• Triplet: N
• Phase: Y
• Number of Cases: 30

9. MultiBypass140

• Modality: Video
• Procedure: LRYGB
• Instrument: N
• Instrument ID: N
• Target: N
• Verb: N
• Triplet: N
• Phase: Y
• Number of Cases: 140

10. Endoscapes-CVS201

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: N
• Instrument ID: N
• Target: N
• Verb: N
• Triplet: N
• Phase: N
• Number of Cases: 201

11. Endoscapes-BBox201

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Box
• Instrument ID: Y
• Target: Box
• Verb: N
• Triplet: N
• Phase: N
• Number of Cases: 201

12. Endoscapes-Seg50

• Modality: Video
• Procedure: Cholecystectomy
• Instrument: Pixel
• Instrument ID: Y
• Target: Pixel
• Verb: N
• Triplet: N
• Phase: N
• Number of Cases: 50

搜集汇总

数据集介绍

构建方式

Cholec80、CholecT50、CholecT45、CholecT40等数据集均围绕腹腔镜胆囊切除术构建，涵盖了从视频帧到像素级别的多种数据类型。这些数据集通过记录手术过程中的视频，标注了手术器械、目标物体、动作及手术阶段等信息。Cholec80+HTA进一步引入了高时间分辨率分析，而CholecSeg8k则专注于像素级别的分割任务。这些数据集的构建依赖于多模态数据采集与精细标注，确保了数据的高质量和多样性。

特点

这些数据集的显著特点在于其多层次的标注信息，涵盖了手术器械的识别、动作的分类以及手术阶段的划分。CholecT系列数据集特别强调了三元组标注（器械-动作-目标），为手术过程的语义理解提供了丰富的上下文信息。此外，CholecSeg8k和Endoscapes-Seg50等数据集通过像素级别的标注，为手术场景的精确分割提供了可能。这些数据集的多模态特性使其在手术导航、机器人辅助手术等领域具有广泛的应用潜力。

使用方法

这些数据集可广泛应用于手术过程的自动化分析、手术机器人控制以及手术导航系统的开发。研究者可以通过加载视频数据，利用标注信息进行手术器械识别、动作分类及手术阶段预测等任务的模型训练。对于CholecT系列数据集，三元组标注可用于构建手术过程的语义模型。像素级别的标注数据则适用于图像分割任务，如手术区域的精确识别。数据集的多样性和高质量标注使其成为手术AI研究的重要资源。

背景与挑战

背景概述

在微创外科手术领域，随着人工智能技术的迅猛发展，手术视频数据的标注与分析成为了推动手术自动化和辅助决策的关键。Cholec80、CholecT50等数据集应运而生，这些数据集由主要研究人员或机构创建，专注于腹腔镜胆囊切除术的视频数据。Cholec80数据集作为其中的代表，包含了80个手术视频，提供了手术阶段标注，为手术过程的自动化分析奠定了基础。这些数据集的创建不仅推动了手术视频分析技术的发展，还为手术机器人、手术导航系统等前沿技术的研发提供了宝贵的数据支持。

当前挑战

这些数据集在构建过程中面临诸多挑战。首先，手术视频的标注需要高度专业化的医学知识，确保标注的准确性和一致性。其次，手术过程中的复杂性和多样性使得数据标注工作异常繁琐，尤其是在处理多仪器交互和手术阶段识别时。此外，数据集的规模和多样性也是一大挑战，如何在有限的资源下获取足够多样化的手术视频数据，以确保模型的泛化能力，是当前研究的重点。最后，数据隐私和伦理问题也是不可忽视的挑战，如何在保护患者隐私的同时，充分利用这些宝贵的医疗数据，是亟待解决的问题。

常用场景

经典使用场景

在手术视频分析领域，Cholec80、CholecT50等数据集的经典使用场景主要集中在腹腔镜胆囊切除术的自动化分析与辅助决策。这些数据集通过提供高分辨率的视频帧和详细的标注信息，支持研究人员开发和验证手术过程中的工具识别、动作分类以及手术阶段预测等算法。例如，CholecT50数据集通过引入三元组标注，使得模型能够同时识别手术工具、目标对象和动作，从而实现更为精细的手术过程理解。

衍生相关工作

基于这些数据集，研究者们开发了多种经典的手术视频分析算法和系统。例如，Cholec80数据集启发了多种手术阶段预测模型，而CholecT50的三元组标注则推动了手术动作语义理解的研究。CholecSeg8k的像素级标注为手术区域的分割和识别提供了新的研究方向。此外，这些数据集还促进了多模态融合技术的应用，如结合视频和深度信息进行三维手术场景重建，进一步拓展了手术视频分析的应用边界。

数据集最近研究

最新研究方向

在手术人工智能领域，Cholec80、CholecT50等数据集的最新研究方向主要集中在手术视频的自动化分析与理解上。这些数据集通过提供详细的手术过程视频和标注信息，推动了手术阶段识别、手术器械追踪、以及手术动作三元组识别等前沿技术的研究。特别是在腹腔镜手术中，研究者们致力于开发更精确的计算机视觉算法，以实现手术器械的实时定位与行为预测，从而提升手术辅助系统的智能化水平。此外，这些数据集的开放共享也为跨机构合作研究提供了坚实基础，促进了手术人工智能技术的快速发展与临床应用转化。