AutoLaparo

AutoLaparo是香港中文大学机械与自动化工程学系开发的首个集成多任务数据集，专注于腹腔镜子宫切除手术的图像引导自动化。该数据集包含21个完整的子宫切除手术视频，总时长1388分钟，涵盖手术流程识别、腹腔镜运动预测和器械及关键解剖结构分割三个任务。数据集通过精细的三级标注过程创建，旨在通过多任务和多模态学习提升手术场景的高级感知能力，推动图像引导手术自动化的发展。AutoLaparo is the first integrated multi-task dataset developed by the Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, focusing on image-guided automation for laparoscopic hysterectomy surgery. This dataset contains 21 complete hysterectomy surgery videos with a total duration of 1388 minutes, covering three tasks: surgical workflow recognition, laparoscopic instrument motion prediction, and segmentation of surgical instruments and key anatomical structures. Developed via a meticulous three-level annotation process, this dataset aims to enhance advanced perception capabilities in surgical scenarios through multi-task and multi-modal learning, and promote the development of image-guided surgical automation.

搜集汇总

数据集介绍

构建方式

AutoLaparo数据集的构建基于香港威尔士亲王医院进行的21段完整腹腔镜子宫切除术视频。这些视频记录了整个手术过程，并经过预处理，包括去除无效的视频片段，以确保数据的有效性和连贯性。数据集包含三个子数据集，分别对应三个不同的任务：手术流程识别、腹腔镜运动预测和器械及关键解剖结构分割。每个子数据集都经过了详细的标注，由具有丰富临床经验的妇科医生和腹腔镜手术专家完成。标注过程分为三层，包括视频级别的流程标注、片段级别的运动标注和帧级别的分割标注，确保了数据的准确性和一致性。

特点

AutoLaparo数据集的特点在于其整合了多任务学习的数据集，旨在促进腹腔镜子宫切除术中的图像引导自动化。数据集包含三个相互关联的任务，分别是手术流程识别、腹腔镜运动预测和器械及关键解剖结构分割。这些任务的相互关联性使得数据集能够支持多任务和多模态学习，从而实现更高级的场景理解。此外，数据集还提供了当前最先进模型的实验结果，作为进一步模型开发和评估的基准。

使用方法

AutoLaparo数据集的使用方法涉及对三个子数据集的访问和分析。用户可以下载数据集，并利用其中的视频和标注数据来训练和评估自己的模型。对于手术流程识别任务，用户可以使用视频级别的标注来训练模型，识别手术的不同阶段。对于腹腔镜运动预测任务，用户可以使用片段级别的运动标注来训练模型，预测腹腔镜的运动模式。对于器械及关键解剖结构分割任务，用户可以使用帧级别的分割标注来训练模型，分割手术场景中的器械和解剖结构。此外，用户还可以参考数据集中提供的当前最先进模型的实验结果，来评估自己模型的性能，并进一步改进模型。

背景与挑战

背景概述

在微创手术领域，计算机辅助技术正在快速发展，特别是在腹腔镜手术中，视频数据提供了丰富的信息，有助于提升智能手术系统的场景感知能力。AutoLaparo数据集应运而生，旨在解决腹腔镜子宫切除术手术自动化中学习模型高度依赖于大规模、高质量和多任务标注数据的瓶颈问题。该数据集由香港中文大学机械与自动化工程系、石涛机器人学院、苏州大学机电工程学院机器人与微系统中心、香港中文大学计算机科学与工程系、香港中文大学威尔士亲王医院妇产科等研究人员于2022年8月共同创建。AutoLaparo数据集包含了手术流程识别、腹腔镜运动预测以及器械和关键解剖结构分割三个高度相关且互为补充的任务，为基于学习的自动化手术提供了宝贵的数据资源。

当前挑战

尽管AutoLaparo数据集为腹腔镜子宫切除术手术自动化提供了重要的数据基础，但在实际应用中仍面临诸多挑战。首先，如何利用单模态数据提高每个任务的性能，实现多任务学习，并结合多种模态数据提升高级场景感知能力，是当前研究的热点问题。其次，尽管AutoLaparo数据集在规模上已经相对较大，但在实际应用中，数据的多样性和复杂性要求更高，需要进一步扩充数据集，定义更多任务，以满足更广泛的临床需求。此外，如何在保证数据隐私和安全的前提下，促进数据共享和开放，也是未来需要解决的问题。

常用场景

经典使用场景

AutoLaparo数据集为计算机辅助微创手术领域提供了一个全面的视觉感知和多任务学习平台。该数据集涵盖了整个子宫切除术过程，包含三个相互关联的任务：手术流程识别、腹腔镜运动预测和手术器械与关键解剖结构分割。这些任务的设计旨在支持基于图像的自动化手术，从而提高手术的准确性和效率。

实际应用

AutoLaparo数据集的实际应用场景主要包括手术流程自动化、腹腔镜运动控制以及手术器械和关键解剖结构的识别和分割。这些应用可以显著提高手术的准确性和效率，减少手术风险，并减轻外科医生的工作负担。此外，数据集的开放性也为研究人员提供了一个共享和交流的平台，推动了计算机辅助微创手术技术的发展。

衍生相关工作

AutoLaparo数据集的发布引发了相关研究领域的广泛关注，并衍生出一系列经典工作。这些工作主要集中在利用数据集进行基于学习的自动化手术算法的开发和评估，以及探索不同模态数据融合对手术场景理解的影响。此外，数据集的集成多任务特性也为研究人员提供了一个探索多任务学习在计算机辅助微创手术中的应用的平台，推动了该领域的技术发展。