RAMIE

RAMIE数据集由埃因霍温理工大学和乌得勒支大学医学中心联合创建，专注于机器人辅助微创食管切除术（RAMIE）中的语义分割任务。该数据集包含879个标注帧，涵盖32名患者和12个不同的类别，包括4种手术器械和8个关键解剖结构。数据集的创建过程涉及从2018年1月至2021年7月在乌得勒支大学医学中心录制的手术视频中随机抽取帧，并由专家进行标注。RAMIE数据集主要用于解决机器人辅助手术中新手外科医生面临的复杂解剖结构识别和空间定位问题，旨在提高手术导航的准确性和效率。

The RAMIE dataset was jointly created by Eindhoven University of Technology and University Medical Center Utrecht, focusing on the semantic segmentation task in robot-assisted minimally invasive esophagectomy (RAMIE). This dataset contains 879 annotated frames, covering 32 patients and 12 distinct categories, including 4 surgical instruments and 8 key anatomical structures. The dataset was constructed by randomly extracting frames from surgical videos recorded at University Medical Center Utrecht between January 2018 and July 2021, followed by expert annotation. The RAMIE dataset is primarily developed to address the challenges of complex anatomical structure recognition and spatial localization faced by novice surgeons in robot-assisted surgery, aiming to improve the accuracy and efficiency of surgical navigation.

搜集汇总

数据集介绍

构建方式

RAMIE数据集的构建基于荷兰乌得勒支大学医学中心在2018年1月至2021年7月期间进行的机器人辅助食管切除术（RAMIE）视频记录。这些记录涵盖了32名患者的手术过程，重点集中在胸腔阶段，因为这一阶段的手术导航尤为关键。视频以25 Hz的帧率和960×540像素的分辨率录制，经过处理后调整为668×502像素。从这些视频中随机抽取了879帧，并由两名学生、一名博士生和一名研究助理在专家外科医生的监督下进行标注。标注内容包括12个不同的类别，涵盖4种手术器械和8个关键解剖结构，以及一个背景类别，以生成密集的语义标签。

使用方法

RAMIE数据集主要用于机器人辅助食管切除术中的语义分割任务，旨在通过计算机视觉技术提高手术导航的准确性。研究者可以使用该数据集来训练和评估各种深度学习模型，特别是那些基于注意力机制的模型，以捕捉全局模式并处理由血液或其他组织引起的遮挡问题。数据集的评估方法包括使用Dice分数和平均对称表面距离（ASSD）来衡量模型的性能。通过与公开的CholecSeg8k数据集结合使用，可以更全面地评估和比较不同模型在手术分割任务中的表现。

背景与挑战

背景概述

RAMIE数据集由Eindhoven University of Technology和University Medical Center Utrecht的研究团队于2021年创建，旨在解决机器人辅助食管切除术（RAMIE）中的空间定位问题。该数据集包含了879个标注帧，涵盖32名患者的12种不同类别，包括手术器械和关键解剖结构，是目前最全面的RAMIE语义分割数据集。RAMIE手术因其微创特性而受到关注，但新手外科医生在操作过程中常面临空间定位的挑战。计算机辅助解剖识别被认为是提高手术导航的有效手段，但相关研究仍处于起步阶段。RAMIE数据集的创建旨在填补这一研究空白，推动计算机视觉和深度学习技术在手术导航中的应用。

当前挑战

RAMIE数据集在构建过程中面临多重挑战。首先，数据集中存在严重的类别不平衡问题，某些类别如神经和胸导管在手术特定阶段出现频率较低，导致样本稀少。其次，识别复杂结构如神经的难度较大，这些结构通常较小且易被其他组织遮挡。此外，数据集的规模相对较小，限制了深度学习模型的训练效果。在算法层面，传统的卷积神经网络（CNN）在处理此类复杂任务时表现有限，而基于注意力机制的模型虽然在捕捉全局模式和处理遮挡问题上表现更佳，但其计算效率较低，难以实现实时处理。因此，如何在保证高精度的同时提高算法的实时性，是RAMIE数据集面临的主要挑战。

常用场景

经典使用场景

RAMIE数据集在机器人辅助食管切除术中的语义分割任务中展现了其经典应用场景。该数据集通过提供大量关键解剖结构和手术器械的标注，使得研究人员能够开发和评估用于实时解剖识别的深度学习模型。特别是在处理复杂的手术环境，如血液或其他组织的遮挡时，注意力机制的引入显著提升了模型的性能，从而为手术导航提供了更为精确的支持。

解决学术问题

RAMIE数据集解决了机器人辅助手术中常见的学术研究问题，特别是在新手外科医生面临的空间定位困难方面。通过提供详细的解剖结构和手术器械标注，该数据集帮助研究人员开发和验证能够实时识别和分割这些结构的算法。这不仅提升了手术导航的精确性，还为降低新手外科医生的学习曲线提供了可能，从而在学术界引起了广泛关注。

实际应用

RAMIE数据集在实际应用中主要用于提升机器人辅助食管切除术的手术导航精度。通过训练和验证深度学习模型，医院和外科团队可以利用这些模型在手术过程中实时识别和分割关键解剖结构和手术器械，从而提高手术的安全性和效率。此外，该数据集的应用还有助于减少手术并发症，缩短住院时间，并降低手术中的出血量，为患者带来更好的治疗效果。

数据集最近研究

最新研究方向

在机器人辅助食管切除术（RAMIE）领域，最新的研究方向集中在利用预训练的注意力机制模型进行实时解剖结构识别。研究团队开发了一个综合数据集，包含大量关键解剖结构和手术器械，旨在解决当前算法在处理复杂结构和类别不平衡问题上的局限性。通过对比传统卷积神经网络和基于注意力的深度学习模型，研究发现后者在捕捉全局模式和处理遮挡问题上表现更优，尤其是在ADE20k数据集上预训练的模型效果显著。这一研究不仅推动了手术导航技术的进步，也为降低新手外科医生的学习曲线提供了新的可能性。

相关研究论文

• Benchmarking Pretrained Attention-based Models for Real-Time Recognition in Robot-Assisted Esophagectomy

  埃因霍温理工大学 · 2024年