Surgical Dataset Generation Based on 3D Gaussian Splatting

本研究介绍了一种基于3D高斯喷溅技术生成手术图像数据集的新方法，由利兹大学开发。该数据集包含1568条图像数据，通过精确编辑3D高斯模型，实现了手术场景和器械模型的独立训练与灵活组合。数据集的创建过程涉及从手术场景和器械中提取高斯表示，进行必要的编辑和融合，以生成高质量的合成手术场景。此数据集主要应用于神经网络训练，旨在提高机器人辅助微创手术中的自动化能力，特别是在手术器械的跟踪、检测和定位方面。This study introduces a novel method for generating surgical image datasets based on 3D Gaussian Splatting technology, developed by the University of Leeds. This dataset comprises 1568 image samples, enabling independent training and flexible combination of surgical scene and instrument models through precise editing of 3D Gaussian models. The dataset creation process entails extracting Gaussian representations from surgical scenes and instruments, followed by requisite editing and fusion to produce high-quality synthetic surgical scenes. This dataset is primarily utilized for neural network training, with the goal of improving automation capabilities in robot-assisted minimally invasive surgery, especially regarding the tracking, detection and localization of surgical instruments.

搜集汇总

数据集介绍

构建方式

本研究提出了一种基于3D高斯散布的新型手术图像数据集生成方法。首先，通过收集手术场景和手术器械的图像，并获取已知的相机内参和外参，分别对手术场景和器械进行3D高斯表示的训练。然后，将手术器械的高斯表示从背景中提取出来，并进行必要的平移和旋转编辑。接着，将编辑后的手术器械高斯表示与手术场景的高斯表示融合，从而生成包含手术器械的全新场景。最后，利用融合后的高斯场景，可以渲染出具有不同姿态的2D图像，为神经网络训练创建图像数据集。

特点

该数据集的特点在于：1) 首次将3D高斯散布应用于医学数据集生成，开辟了创建手术图像数据集的新方法；2) 开发了精确编辑3D高斯模型的技术，允许独立训练和灵活组合手术场景及器械模型；3) 方法能够自动生成准确的标注信息；4) 生成的合成图像质量高，神经网络训练效果显著，相较于真实世界训练模型有12%的性能提升。

使用方法

使用该数据集时，首先需要通过训练获取手术场景和器械的3D高斯表示模型。然后，利用这些模型生成新的手术场景图像，并通过自动标注信息为这些图像提供像素级的器械边界信息。最后，使用这些图像和标注信息进行神经网络的训练和评估，以提高机器人辅助手术中器械检测和定位的准确性。

背景与挑战

背景概述

Surgical Dataset Generation Based on 3D Gaussian Splatting数据集是由Tianle Zeng、Gerardo Loza Galindo、Junlei Hu、Pietro Valdastri和Dominic Jones等研究人员在University of Leeds提出的一种新颖方法。该方法通过应用3D Gaussian Splatting技术生成合成手术数据集，以解决机器人辅助最小侵入性手术（RAMIS）中高级工具跟踪、检测和定位的自动化问题。该数据集的核心研究问题是由于手术场景中工具的高质量标注数据的缺乏，导致基于学习的方法的训练和监督复杂化。该数据集的提出，为这一领域提供了新的数据生成方法，并对其相关研究产生了重要影响。

当前挑战

该数据集在构建过程中遇到的挑战主要包括：1) 如何精确地生成包含各种手术工具的不同手术场景的合成图像；2) 在保证图像质量的同时，自动生成准确标注信息；3) 在合成数据集上训练的神经网络模型，如何在实际应用中表现出优于在真实数据集上训练的模型性能。针对这些挑战，研究人员采用了3D Gaussian Splatting方法，通过精确编辑3D Gaussian模型，实现了手术场景和工具的合成，并自动生成了对应的标注信息，提高了模型在实际应用中的性能。

常用场景

经典使用场景

Surgical Dataset Generation Based on 3D Gaussian Splatting数据集的经典使用场景在于生成用于机器人辅助微创手术（RAMIS）中的视觉识别任务的高保真合成手术图像。该数据集通过3D高斯散点技术，从有限的实际手术图像中学习并生成新的图像数据，有效解决了因手术场景数据稀缺而限制视觉算法训练的问题。

衍生相关工作

基于Surgical Dataset Generation Based on 3D Gaussian Splatting数据集，衍生出了一系列相关工作，包括但不限于使用该数据集进行手术工具检测、定位和分割的研究，以及将3D高斯散点技术应用于其他医疗图像生成任务的探索。这些工作进一步扩展了数据集的应用范围，并推动了相关领域的技术发展。

数据集最近研究

最新研究方向

本研究提出了基于3D高斯散布的手术图像数据集生成方法，以解决手术机器人辅助下的微创手术中图像数据不足的挑战。通过独立训练手术场景和器械的高斯模型，实现了场景编辑和新场景合成，增强了数据集的多样性。研究的关键贡献包括首次将3D高斯散布应用于医学数据集生成，以及开发了精确编辑3D高斯模型的技术。此外，该方法能够自动生成准确的标注信息，并通过实验验证了合成图像数据集在神经网络训练中的有效性，为解决手术领域数据稀缺问题提供了新思路。

相关研究论文

• Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting

  利兹大学 · 2024年