EgoSurgery-HTS

EgoSurgery-HTS数据集是由庆应义塾大学创建的，包含21段时长总计15小时的手术视频，由8位医生完成。该数据集在EgoSurgery的基础上增加了手术工具、手部以及手工具交互的像素级注释，共包含19496张高质量图像，并对50383个工具、57173只手以及41605个手工具交互进行了标注。数据集旨在推动开放手术视频中egocentric场景的精细理解，定义了三种任务：手部分割、工具分割和手工具分割，以促进对egocentric开放手术场景的理解。

The EgoSurgery-HTS dataset was created by Keio University. It consists of 21 surgical videos with a total duration of 15 hours, conducted by 8 surgeons. Building upon the original EgoSurgery dataset, this dataset introduces pixel-level annotations for surgical instruments, hands, and hand-tool interactions, encompassing a total of 19,496 high-quality images. Specifically, there are 50,383 instrument annotations, 57,173 hand annotations, and 41,605 hand-tool interaction annotations. The dataset aims to advance fine-grained understanding of egocentric scenes in open surgical videos, and defines three tasks to facilitate the understanding of egocentric open surgical scenarios: hand segmentation, instrument segmentation, and hand-tool segmentation.

搜集汇总

数据集介绍

构建方式

EgoSurgery-HTS数据集的构建基于EgoSurgery数据集，通过扩展其标注范围，增加了手术工具分割、手部分割以及手与工具交互分割的像素级标注。标注过程采用了SAM（Segment Anything Model）技术，结合已有的边界框标注生成分割掩码，并通过手动审核确保标注的精确性。数据集包含19,496张高质量图像，标注了50,383个手术工具、57,173只手以及41,605个手与工具的交互实例。

特点

EgoSurgery-HTS数据集在开放手术领域具有独特优势，提供了14种手术工具的实例分割标注、4种手部实例分割标注以及手与工具交互的精细分割标注。数据集的标注覆盖了多种手术场景，包括不同光照条件和视角变化，为研究开放手术中的复杂交互提供了丰富的数据支持。此外，数据集的工具和手部分布呈现出明显的类别不平衡，反映了实际手术中的工具使用频率差异。

使用方法

EgoSurgery-HTS数据集适用于多种计算机视觉任务，包括手术工具分割、手部分割以及手与工具交互分割。研究人员可以使用该数据集训练和评估实例分割模型，如Mask R-CNN、QueryInst和Mask2Former等。数据集还支持多任务学习，结合手术阶段识别和工具检测等任务，进一步提升开放手术视频分析的性能。使用该数据集时，建议采用视频分割的训练方法，以避免模型过拟合到特定手术类型。

背景与挑战

背景概述

EgoSurgery-HTS数据集由日本庆应义塾大学的Nathan Darjana、Ryo Fujii、Hideo Saito和Hiroki Kajita等研究人员于2025年提出，旨在推动开放手术场景中自我中心视觉下的手术工具与手部交互的精细化分割研究。该数据集包含15.4K帧来自10种不同开放手术的自我中心视角视频，提供14种手术工具、4类手部实例以及手-工具交互的像素级标注。作为首个专注于开放手术的自我中心分割数据集，EgoSurgery-HTS弥补了传统微创手术数据集在复杂器械操作、多人员协作视角和动态光照条件等开放手术特性上的研究空白，为手术行为理解、实时辅助系统开发等应用提供了关键数据支撑。

当前挑战

EgoSurgery-HTS面临的领域挑战主要体现在三方面：开放手术场景中多工具动态交互导致的遮挡与形变问题，需解决器械重叠、组织遮挡等复杂情况下的分割精度下降；手-工具交互的细粒度标注要求模型区分主刀医生与助手的手部动作，并精确关联14类工具与4类手部实例；数据分布不均衡问题突出，高频使用器械（如镊子）与低频器械的样本量差异达数十倍。构建过程中的技术挑战包括：自我中心视角的剧烈运动模糊和光照变化增加了标注难度；利用SAM模型生成初始标注时需处理器械金属反光导致的边缘误检；跨视频域差异使得模型需适应不同手术类型间的器械使用习惯差异。

常用场景

经典使用场景

在计算机视觉与医疗人工智能交叉领域，EgoSurgery-HTS数据集为研究者提供了首个针对开放式手术场景的自我中心视角视频分析平台。其核心价值在于通过像素级标注的14种手术器械、4类手部实例及手-器械交互分割标签，支持开发高精度分割算法。该数据集特别适用于解决开放式手术中因多器械操作、复杂光照和视角变化导致的识别难题，成为训练深度学习模型理解手术场景动态的关键基准。

衍生相关工作

该数据集已催生多项创新研究：Fujii等人扩展了手术阶段识别框架EgoSurgery-Phase，通过融合分割特征提升阶段分类精度；Baby团队开发的Fork-to-Forceps网络利用其多器械标注实现了跨域迁移学习；在基础模型适配方面，Wang等提出的SurgicalSAM通过提示学习机制显著提升了小样本器械分割性能。这些工作共同推动了手术视觉分析从专用模型向通用系统的演进。

数据集最近研究

最新研究方向

近年来，EgoSurgery-HTS数据集在开放手术视频中的自我中心视觉分析领域引起了广泛关注。该数据集通过提供精细的手术工具、手部及手-工具交互的像素级标注，为手术场景的深入理解奠定了重要基础。在计算机视觉与医疗人工智能的交叉领域，该数据集推动了手术工具分割、手部分割以及手-工具交互分割等任务的前沿研究。特别是在开放手术这一复杂场景下，EgoSurgery-HTS填补了现有数据集的空白，为手术流程优化、实时手术辅助和技能评估等应用提供了关键支持。研究显示，基于该数据集训练的模型在手-工具分割任务上显著优于传统数据集，凸显了其在开放手术视频分析中的独特价值。

相关研究论文

• EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos

  庆应义塾大学 · 2025年