Endoscapes-SG201

Endoscapes-SG201数据集是基于Endoscapes-Bbox201构建的，包含了1,933个腹腔镜胆囊切除术视频的帧。数据集提供了6种手术工具、5种解剖结构、6种动作和3种手身份的注释。边界框注释适用于手术工具和解剖结构，而动作注释以动作三元组（工具、动作、目标）的形式提供。此外，还为每个手术工具提供了手身份注释。数据集的构建过程包括细化边界框、将“工具”类别细分为6个类别、标注动作和手身份标签，并通过迭代审查和改进来确保注释的准确性和一致性。该数据集旨在促进手术场景图的综合理解，并已应用于关键视图安全评估和动作三元组识别等下游任务。

Endoscapes-SG201 is a dataset built upon Endoscapes-Bbox201, which contains 1,933 frames from laparoscopic cholecystectomy videos. This dataset provides annotations for 6 types of surgical instruments, 5 types of anatomical structures, 6 types of surgical actions and 3 types of hand identities. Bounding box annotations apply to surgical instruments and anatomical structures, while action annotations are provided in the form of action triplets (instrument, action, target). In addition, hand identity annotations are provided for each surgical instrument. The dataset construction process includes refining bounding boxes, subdividing the "instrument" category into 6 sub-categories, annotating action and hand identity labels, and ensuring annotation accuracy and consistency through iterative review and improvement. This dataset aims to promote comprehensive understanding of surgical scene graphs, and has been applied to downstream tasks such as critical view safety assessment and action triplet recognition.

原始信息汇总

SSG-Com数据集概述

基本信息

• 数据集名称：SSG-Com
• 托管平台：GitHub
• 维护者：ailab-kyunghee

当前状态

• 代码库正在整理中
• 代码和文档即将发布

可用性说明

• 当前未提供可下载内容
• 建议持续关注更新

搜集汇总

数据集介绍

构建方式

Endoscapes-SG201数据集是在Endoscapes-BBox201数据集基础上构建的，专门用于全面手术场景图生成。构建过程包括四个主要步骤：首先，对手术工具的边界框进行精细化调整，以提高定位精度；其次，将原本单一的“工具”类别细分为六个具体类别（如钩子、抓钳等），以区分不同工具的功能差异；接着，添加了手术工具与目标解剖结构之间的动作标注，以及操作工具的手部身份标注；最后，通过专家团队的迭代审查确保标注的准确性和一致性。整个数据集包含1,933帧图像，涵盖了6种手术工具、5种解剖结构、6种动作和3种手部身份。

特点

Endoscapes-SG201数据集的特点在于其全面性和精细化标注。它不仅提供了手术工具和解剖结构的边界框标注，还包含了动作三元组（工具-动作-目标）和手部身份的标注，这在以往的手术场景图数据集中是较为罕见的。数据集的工具类别细分（如钩子、抓钳等）和手部身份标注（如术者右手、左手或助手的手）为研究手术场景中的复杂交互提供了更丰富的信息。此外，数据集的分割方式（训练集1,212帧、验证集409帧、测试集312帧）也为模型的训练和评估提供了合理的基础。

使用方法

Endoscapes-SG201数据集主要用于手术场景图生成及相关下游任务的研究，如关键安全视野评估（CVS）和动作三元组识别。使用该数据集时，通常需要先通过目标检测模型（如Faster R-CNN）识别手术工具和解剖结构，并将其作为图的节点。然后，通过构建空间关系边和手术动作边（SAE）来表示节点之间的交互。数据集中的动作和手部身份标注可用于训练专门的分类器，以增强模型对手术场景的理解。实验表明，结合这些标注信息可以显著提升模型在下游任务中的性能。

背景与挑战

背景概述

Endoscapes-SG201数据集由韩国三星医疗中心和庆熙大学的研究团队于2023年联合推出，旨在推动计算机辅助手术系统中的手术场景理解研究。该数据集基于Endoscapes-BBox201构建，包含1,933帧从201例腹腔镜胆囊切除术视频中提取的图像，创新性地引入了手术工具-动作-目标组合标注和操作手身份标注。作为首个全面整合空间关系、动作关系和操作者身份信息的手术场景图数据集，它解决了传统方法在工具功能区分和人员角色建模方面的不足，为手术工作流分析、安全关键视图评估等临床应用提供了更丰富的结构化表示。

当前挑战

该数据集主要面临两大核心挑战：在领域问题层面，需精确建模手术场景中工具-解剖结构的动态交互关系，包括6类手术工具与5类解剖结构的复杂动作组合，以及3种操作手身份识别；在构建过程中，需克服腹腔镜视频中器械遮挡、反光干扰导致的标注困难，并通过专家迭代审核确保6种工具细分类、6种动作标签和操作手身份标注的一致性。此外，数据的长尾分布问题（如某些工具出现频率极低）也给模型训练带来显著挑战。

常用场景

经典使用场景

Endoscapes-SG201数据集在计算机辅助手术领域具有广泛的应用价值，尤其在腹腔镜胆囊切除术中，该数据集通过标注手术工具、解剖结构、动作三元组及操作手身份等信息，为手术场景理解提供了全面的数据支持。其经典使用场景包括手术场景图生成、关键安全视图评估以及动作三元组识别等任务。通过构建结构化的手术场景图，研究者能够更精确地建模手术实体间的复杂关系，从而提升手术场景理解的深度和广度。

衍生相关工作

Endoscapes-SG201数据集衍生了一系列经典研究工作。基于该数据集提出的SSG-Com方法，通过整合手术动作边和手身份分类器，显著提升了场景图模型的性能。此外，该数据集还启发了多项下游任务研究，如基于图表示的手术工作流分析（如Islam et al.的工作）和关键安全视图的自动化评估（如LG-CVS方法）。其细粒度标注方式也被后续数据集（如CaDIS）借鉴，推动了手术场景理解领域的标准化进程。

数据集最近研究

最新研究方向

随着计算机辅助手术技术的快速发展，手术场景理解成为该领域的核心挑战之一。Endoscapes-SG201数据集作为一项创新性研究，通过引入工具-动作-目标组合及操作手身份标注，为构建全面的手术场景图提供了新的数据基础。该数据集在胆囊切除术视频分析中的应用，不仅推动了手术工具与解剖结构交互关系的研究，还为关键安全视野评估和动作三元组识别等下游任务提供了重要支持。当前研究热点集中于如何利用图神经网络整合空间关系、动作关系和操作手身份等多维信息，以实现更精准的手术场景建模。这一方向的发展将深刻影响智能手术导航、自动化手术报告生成等临床应用，为手术安全性和效率提升奠定理论基础。

相关研究论文

• Towards Holistic Surgical Scene Graph

  韩国首尔的三星医疗中心外科部门, 韩国忠清北道忠清市京畿大学的计算机视觉与模式识别实验室 · 2025年