SimuScope

SimuScope是由波兰萨诺计算医学中心创建的一个真实内窥镜合成数据集，旨在通过手术模拟和扩散模型生成高质量的合成数据。该数据集包含丰富的手术交互模拟，如组织抓取、撕裂、切割等，以及详细的注释信息，如像素级语义分割、深度和法线图等。数据集的创建过程结合了先进的虚拟模拟器和图像到图像的翻译方法，以提高合成数据的视觉真实性。SimuScope主要应用于计算机辅助手术系统，旨在解决现有数据集缺乏真实性和详细注释的问题，从而提升深度学习模型在手术支持任务中的表现。

SimuScope is a real endoscopic synthetic dataset developed by the Sano Computational Medicine Center in Poland. It aims to generate high-quality synthetic data through surgical simulation and diffusion models. This dataset includes rich surgical interaction simulations such as tissue grasping, tearing, cutting, etc., alongside detailed annotation information including pixel-level semantic segmentation, depth maps and normal maps. The creation process of SimuScope combines advanced virtual simulators and image-to-image translation methods to improve the visual realism of the synthetic data. Primarily targeted at computer-assisted surgery systems, SimuScope is designed to address the shortcomings of existing datasets in terms of lacking realism and detailed annotations, thereby enhancing the performance of deep learning models in surgery-supporting tasks.

搜集汇总

数据集介绍

构建方式

SimuScope数据集的构建基于一个多阶段的管道，结合了先进的手术模拟器和扩散模型。该模拟器能够自动生成现代计算机辅助手术系统所需的所有必要注释，包括像素级语义分割、深度和法线图、光流以及时间和高级文本信息。为了进一步缩小合成数据与真实数据之间的视觉差距，研究团队提出了一种基于稳定扩散（SD）和低秩适应（LoRA）的轻量级图像到图像翻译方法。这种方法利用有限数量的注释数据，实现了高效的训练，并保持了模拟器生成注释的完整性。

特点

SimuScope数据集的特点在于其高度真实的生物力学模拟和丰富的手术工具与组织之间的交互。模拟器不仅能够生成广泛的注释，还提供了更复杂和真实的手术交互模拟，包括抓取、撕裂、切割、热凝固和血管夹闭等。此外，数据集通过图像到图像翻译方法进一步增强了视觉真实性，使其在视觉和语义上与真实手术场景高度一致。

使用方法

SimuScope数据集可用于训练和验证深度学习模型，特别是在计算机辅助手术系统中。研究人员可以通过访问提供的代码和数据集链接，利用这些合成数据进行模型训练，以提高手术支持系统的精度和可靠性。数据集的广泛注释和高度真实的模拟使其成为开发和测试手术导航、机器人辅助手术等应用的理想选择。

背景与挑战

背景概述

SimuScope数据集由Sano Centre for Computational Medicine、Warsaw University of Technology、University of Verona和University of Warsaw的研究团队共同开发，旨在通过计算机辅助手术（CAS）系统提升手术执行和结果。该数据集的核心研究问题是如何生成具有高度真实感的合成数据，以解决复杂且难以注释的手术数据问题。SimuScope通过一个多阶段的管道生成逼真的合成数据，利用全功能的手术模拟器自动生成现代CAS系统所需的所有必要注释。该模拟器不仅生成了广泛的注释，还提供了更复杂和真实的手术交互模拟，包括手术器械与可变形解剖环境之间的动态关系。此外，SimuScope还提出了一种基于Stable Diffusion（SD）和Low-Rank Adaptation（LoRA）的轻量级且灵活的图像到图像翻译方法，进一步缩小了合成数据与真实数据之间的视觉差距。

当前挑战

SimuScope数据集在构建过程中面临多个挑战。首先，生成具有高度真实感的合成数据是一个复杂的过程，需要精确模拟手术器械与组织之间的交互。其次，现有的模拟器在真实感和交互性方面存在局限，难以提供足够的细节和动态模拟。此外，合成数据与真实数据之间的视觉差距也是一个重要问题，需要通过先进的图像翻译技术来解决。最后，数据集的注释生成和维护也是一个挑战，需要确保注释的准确性和一致性。这些挑战共同构成了SimuScope数据集在提升计算机辅助手术系统性能和可靠性方面的主要障碍。

常用场景

经典使用场景

SimuScope数据集在计算机辅助手术（CAS）系统中具有经典应用场景，主要用于训练深度学习模型以支持手术过程中的各种任务。通过其高保真度的虚拟手术模拟器，SimuScope能够生成包含丰富注释的合成数据，如像素级语义分割、深度和法线图、光流以及手术动作三元组等。这些数据不仅提升了模型的训练效果，还为CAS系统提供了更为精确和可靠的指导。

衍生相关工作

SimuScope数据集的发布和应用催生了一系列相关研究工作。例如，基于SimuScope的合成数据，研究者们开发了新的图像到图像翻译方法，以进一步提升合成数据的真实感。此外，SimuScope还激发了对手术模拟器和扩散模型结合的研究，探索如何在保持注释完整性的同时，生成更为逼真的手术场景图像。这些衍生工作不仅扩展了SimuScope的应用范围，也推动了计算机辅助手术领域的技术进步。

数据集最近研究

最新研究方向

在计算机辅助手术（CAS）系统中，深度学习模型的训练依赖于复杂且难以标注的数据。尽管合成数据生成可以解决这一问题，但其真实性的提升至关重要。SimuScope数据集通过引入多阶段管道，结合全功能手术模拟器和扩散模型，生成高度真实的合成数据。该模拟器不仅自动生成现代CAS系统所需的所有必要标注，还提供了比现有公共合成数据集更丰富的标注集。此外，SimuScope通过基于Stable Diffusion和Low-Rank Adaptation的轻量级图像到图像翻译方法，进一步缩小了合成数据与真实数据之间的视觉差距。这种方法在有限的标注数据下实现了高效训练，并保持了模拟器生成标注的完整性。实验验证表明，该管道能够将合成图像转换为具有真实世界特征的图像，从而提升训练和CAS指导的质量。

相关研究论文

• SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models

  波兰萨诺计算医学中心 · 2024年