ESD-DZSeg

ESD-DZSeg数据集是由中国香港中文大学电子工程系、中国深圳研究院、中国济南山东大学齐鲁医院消化内科联合创建，专门用于机器人辅助内镜下黏膜剥离术（ESD）中的解剖区域分割任务。该数据集包含1849张图像，来源于21个离体猪模型的机器人ESD手术视频，每张图像均由专家标注了解剖区域。数据集的创建旨在解决内镜手术环境中解剖区域分割的复杂性问题，通过引入视觉提示（如涂鸦和边界框）来提高分割的准确性和用户体验。ESD-DZSeg数据集的应用领域主要集中在机器人辅助内镜手术中的解剖区域建议和视觉提示解释，旨在为未来的研究提供基准。

The ESD-DZSeg dataset was co-developed by the Department of Electronic Engineering of The Chinese University of Hong Kong, Shenzhen Research Institute of The Chinese University of Hong Kong, and the Department of Gastroenterology of Qilu Hospital of Shandong University in Jinan, China. It is specifically designed for the anatomical region segmentation task in robot-assisted endoscopic submucosal dissection (ESD). This dataset contains 1849 images sourced from robot-assisted ESD surgical videos of 21 ex vivo porcine models, and each image has been expertly annotated with anatomical regions. The dataset was developed to address the complexity of anatomical region segmentation in endoscopic surgical environments, by introducing visual prompts such as scribbles and bounding boxes to improve segmentation accuracy and user experience. The application scenarios of the ESD-DZSeg dataset mainly focus on anatomical region proposal and visual prompt interpretation in robot-assisted endoscopic surgery, aiming to provide a benchmark for future research.

搜集汇总

数据集介绍

构建方式

ESD-DZSeg数据集的构建基于21次机器人辅助的内镜黏膜下剥离术（ESD），这些手术在山东大学齐鲁医院的离体猪模型上进行。使用自定义的双臂机器人系统，视频以30帧每秒的速度记录，分辨率为1920×1080。经过处理后，图像被裁剪至1310×1010的分辨率。研究团队从21个视频中提取了1849张图像，用于分割任务的标注。这些图像被分为训练集和测试集，分别包含1480张和369张图像。专家内镜医师使用LabelBox软件对这些图像进行了详细的分割标注，确保了数据集的高质量和高准确性。

特点

ESD-DZSeg数据集的显著特点在于其针对内镜手术环境的复杂性进行了优化。数据集包含了丰富的视觉提示，如涂鸦和边界框，这些提示被直接叠加在图像上，以帮助模型更好地理解和分割解剖区域。此外，数据集的多样性和高质量标注使其成为评估和训练解剖区域分割模型的理想选择。通过结合多种视觉提示，ESD-DZSeg不仅提升了模型的性能，还增强了用户与模型之间的交互体验。

使用方法

ESD-DZSeg数据集主要用于训练和评估基于视觉提示的解剖区域分割模型。研究者可以使用该数据集来微调基础模型，如DINOv2，以适应特定的内镜手术任务。数据集中的图像和标注可以用于开发和验证新的分割算法，特别是在需要精确解剖区域识别的场景中。此外，ESD-DZSeg还可以作为基准数据集，用于比较不同模型在解剖区域分割任务中的表现，从而推动该领域的发展和创新。

背景与挑战

背景概述

ESD-DZSeg数据集由香港中文大学（CUHK）和深圳研究所以及山东大学齐鲁医院的研究团队于2021年创建，旨在解决内窥镜黏膜下剥离术（ESD）中的解剖区域分割问题。该数据集的核心研究问题是提高在复杂内窥镜手术环境中解剖区域分割的精确度，以增强ESD手术的安全性。主要研究人员包括Mengya Xu、Wenjin Mo、Guankun Wang等，他们通过引入基于提示的解剖区域分割模型（PDZSeg），利用视觉提示如涂鸦和边界框，显著提升了分割性能。ESD-DZSeg数据集的开发不仅为内窥镜手术提供了新的研究基准，也为未来在该领域的进一步研究奠定了基础。

当前挑战

ESD-DZSeg数据集面临的挑战主要集中在两个方面：一是内窥镜手术环境的复杂性，导致不同组织类型之间的边界模糊，传统分割算法难以准确识别相关特征；二是手术过程中医生需要快速决策，缺乏适当的指导可能导致手术时间延长和不良事件风险增加。此外，构建该数据集时，研究人员还需克服如何有效整合视觉提示，以及如何在基础模型上进行快速调整以适应特定领域任务的难题。这些挑战不仅影响了数据集的构建过程，也对其在实际应用中的效果提出了考验。

常用场景

经典使用场景

ESD-DZSeg数据集在机器人辅助内镜黏膜下剥离手术中，主要用于解剖区域的精确分割。该数据集通过结合视觉提示，如涂鸦和边界框，显著提升了分割模型的性能。在手术过程中，医生可以利用这些视觉提示，指导模型更准确地识别和分割解剖区域，从而提高手术的安全性和效率。

衍生相关工作

基于ESD-DZSeg数据集，研究者们开发了多种先进的分割模型，如PDZSeg模型，该模型能够有效利用各种视觉提示进行解剖区域分割。此外，该数据集还促进了视觉提示在医学图像分割中的应用研究，推动了相关领域的发展。通过提供高质量的标注数据和先进的分割方法，ESD-DZSeg数据集为未来的研究和应用奠定了坚实的基础。

数据集最近研究

最新研究方向

在机器人辅助内镜黏膜下剥离术（ESD）领域，ESD-DZSeg数据集的最新研究方向聚焦于通过视觉提示实现解剖区域的精确分割。研究者们提出了一种基于视觉提示的解剖区域分割模型（PDZSeg），该模型能够有效利用如涂鸦和边界框等多样化的视觉提示，显著提升了分割性能和用户体验。这一研究不仅为内镜手术中的解剖区域分割提供了新的技术路径，还为未来在该领域的进一步研究奠定了基础。

相关研究论文

• PDZSeg: Adapting the Foundation Model for Dissection Zone Segmentation with Visual Prompts in Robot-assisted Endoscopic Submucosal Dissection

  中国香港中文大学电子工程系，中国深圳研究院，中国广州中山大学计算机科学与工程系，中国济南山东大学齐鲁医院消化内科 · 2024年