ESAD

ESAD数据集是由维罗纳大学和圣拉斐尔医院合作创建的，专注于内窥镜手术中外科医生动作检测。该数据集包含9078条标注数据，来源于真实的内窥镜手术视频，特别是前列腺切除手术。数据集的创建过程中，由医学专家根据手术反馈选择动作类别并进行标注。ESAD数据集的应用领域主要集中在提高手术辅助机器人的效能，通过识别外科医生的动作，使机器人能够采取适当的辅助行动，从而提高手术安全性。

The ESAD Dataset was collaboratively developed by the University of Verona and San Raffaele Hospital, focusing on surgical action detection during endoscopic surgeries. It contains 9,078 annotated samples sourced from real endoscopic surgery videos, particularly prostatectomy procedures. During the dataset construction, medical experts selected action categories and performed annotations based on surgical feedback. The primary application of the ESAD Dataset is to enhance the performance of surgical assistant robots: by recognizing surgeons' actions, the robots can take appropriate auxiliary measures, thereby improving surgical safety.

搜集汇总

数据集介绍

构建方式

ESAD数据集是首个专为内窥镜微创手术中医生活动检测设计的大规模基准。其构建基于四台完整的机器人辅助根治性前列腺切除术视频，每段时长约4小时，源自圣拉斐尔医院。视频由达芬奇Xi系统以30帧/秒录制，但仅以1帧/秒进行标注以避免冗余。标注过程采用微软开源工具VoTT，由医学专家与外科医生共同制定严格协议：边界框需同时包含操作工具与目标器官，并控制工具与组织占比在30%-70%之间；动作标签仅在工具贴近器官时赋予，一旦工具远离则终止。最终获得46,325个动作实例，涵盖21个精细动作类别。

特点

该数据集的核心特点在于其高度挑战性的医学场景特性。与常规人体动作检测不同，内窥镜图像中器官形状可变形、颜色纹理高度相似，且镜头距场景极近，缺乏上下文信息。动作类别极其细粒度（如'切割系膜'与'切割前列腺'），依赖对操作器官的精确区分，导致类间差异微小而类内差异巨大。数据分布严重不均衡，'牵拉组织'等常见动作包含数千实例，而'装袋前列腺'等罕见动作仅76例。此外，多动作在单帧中频繁重叠，进一步加剧了检测难度。这些特性使ESAD成为评估算法在复杂手术场景鲁棒性的理想基准。

使用方法

ESAD数据集主要用于评估手术视频中的时空动作检测任务。使用方法上，研究者可基于单帧图像预测动作类别与边界框（静态检测），亦可利用连续帧构建动作管（动态检测）。官方基线采用基于ResNet的特征金字塔网络，并提供了OHEM与Focal Loss两种损失函数。数据集划分为训练集（22,601帧）、验证集（4,574帧）和测试集（6,223帧），评估指标为在IoU阈值0.1、0.3和0.5下的平均精度均值（mAP）。参赛方法涵盖单阶段检测器（如RetinaNet）与两阶段检测器（如Faster R-CNN），后者通过数据增强、注意力机制及集成学习显著提升性能。

背景与挑战

背景概述

在微创手术领域，精准识别外科医生操作对于提升手术安全性与机器人辅助系统的自主性至关重要。然而，由于内窥镜视野下手术场景的高度相似性、器械与组织边界的模糊性以及摄像头的持续运动，传统计算机视觉中的动作检测方法难以直接迁移至该领域。为填补这一空白，ESAD（SARAS Endoscopic Surgeon Action Detection）数据集于2020年由牛津布鲁克斯大学视觉人工智能实验室联合苏黎世联邦理工学院、圣拉斐尔医院等多所机构创建。该数据集聚焦于机器人辅助前列腺切除术中的21类外科动作，包含46,325个标注实例，旨在为手术机器人提供可靠的感知基准。作为MIDL 2020挑战赛的核心数据，ESAD推动了医学影像与深度学习在手术动作检测领域的交叉研究，为未来自主手术辅助系统的开发奠定了关键基础。

当前挑战

ESAD数据集面临的核心挑战源于手术场景的独特复杂性。首先，领域问题层面，外科动作检测需在器官形变剧烈、类间差异极小（如不同器官颜色纹理相似）且内窥镜近距视野缺乏上下文信息的条件下，精准区分21类高度细粒度的动作（如“切割结肠系膜”与“切割前列腺”），其难度远超常规人体动作检测。其次，构建过程中遭遇多重困难：标注标准需协调器械与器官的占比（30%-70%），界定动作的时空边界存在主观歧义；类别分布极度不均衡（如“牵拉组织”实例达9,078个，而“装袋前列腺”仅76个）；同时，内窥镜图像常因模糊、噪声与光照不足而质量不佳，进一步加剧了模型泛化的挑战。

常用场景

经典使用场景

ESAD数据集作为首个专门针对内窥镜微创手术中外科医生动作检测的大规模基准，其经典使用场景聚焦于从真实前列腺切除术视频帧中识别并定位21类精细动作。该数据集通过提供边界框标注，为计算机视觉模型在高度相似的手术场景中区分诸如“切割结肠系膜”与“切割前列腺”等细微动作差异提供了标准化评估平台，成为推动手术机器人自主感知能力发展的核心测试床。

解决学术问题

ESAD数据集解决了医学计算机视觉中长期缺乏外科手术动作检测基准的学术空白，突破了传统人体动作检测数据集在手术场景中的局限性。它系统性地应对了内窥镜图像中器官形变、类间差异微小、近距拍摄缺乏上下文信息以及镜头频繁运动等挑战，为研究细粒度动作检测、类别不平衡学习以及时空特征融合等关键学术问题提供了可靠的数据支撑，显著推动了手术机器人领域算法评估的规范化进程。

衍生相关工作

基于ESAD数据集衍生了一系列经典工作，包括在MIDL 2020挑战赛中涌现的多种创新方法：采用ResNeSt注意力机制的单阶段检测器、结合卷积LSTM的时空特征提取网络、以及集成多特征提取器的两阶段Faster R-CNN框架。这些工作探索了数据增强策略（如边界框抖动和锚点聚类）、改进残差模块（融合可变形卷积与全局上下文池化）等技术，显著提升了手术动作检测的精度，为后续研究奠定了方法论基础。