SimuScope

SimuScope是一个通过外科模拟和扩散模型生成的真实内窥镜合成数据集，用于计算机视觉应用。

SimuScope is a photorealistic synthetic endoscopic dataset generated via surgical simulation and diffusion models, intended for computer vision applications.

原始信息汇总

SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models

数据集概述

• 数据集名称: SimuScope
• 数据集来源: 公开数据集，可通过以下链接访问和下载：https://zenodo.org/records/14205530
• 数据集用途: 用于生成逼真的内窥镜合成数据集，通过手术模拟和扩散模型实现。

数据集生成流程

1. 训练

   • 训练工具: 使用 https://github.com/bmaltais/kohya_ss 进行训练。
   • 训练数据: 包含两个训练任务：

     • Lora CholectG45:

       • 训练命令： powershell accelerate launch --num_cpu_threads_per_process=8 "/.../kohya_ss/sd-scripts/train_network.py" --network_train_unet_only --bucket_no_upscale --bucket_reso_steps=64 --cache_latents --cache_latents_to_disk --enable_bucket --min_bucket_reso=256 --max_bucket_reso=2048 --gradient_checkpointing --learning_rate="0.0012" --logging_dir="/.../WACV_2025/Training/Train_CholectG45/kohya_ss_CholectG45/log" --lr_scheduler="constant_with_warmup" --lr_scheduler_num_cycles="20" --max_data_loader_n_workers="0" --max_grad_norm="1" --resolution="512,512" --max_train_steps="13920" --min_snr_gamma=5 --mixed_precision="fp16" --network_alpha="1" --network_dim=128 --network_module=networks.lora --optimizer_type="Adafactor" --output_dir="/.../WACV_2025/Training/Train_CholectG45/kohya_ss_CholectG45/model" --output_name="Whole_s87_cholect45" --pretrained_model_name_or_path="/.../Pretrained_model_name/v1-5-pruned.safetensors" --save_every_n_epochs="1" --save_model_as=safetensors --save_precision="fp16" --text_encoder_lr=0.0012 --train_batch_size="5" --train_data_dir="/.../WACV_2025/Training/Train_CholectG45/kohya_ss_CholectG45/img" --unet_lr=0.0012 --xformers

     • Lora CholectL45:

       • 训练命令： powershell accelerate launch --num_cpu_threads_per_process=8 "/.../kohya_ss/sd-scripts/train_network.py" --network_train_unet_only --bucket_no_upscale --bucket_reso_steps=64 --cache_latents --cache_latents_to_disk --enable_bucket --min_bucket_reso=256 --max_bucket_reso=2048 --gradient_checkpointing --learning_rate="0.0012" --logging_dir="/.../WACV_2025/Training/Train_CholectL45/kohya_ss_CholectL45/log" --lr_scheduler="constant_with_warmup" --lr_scheduler_num_cycles="20" --max_data_loader_n_workers="0" --max_grad_norm="1" --resolution="512,512" --max_train_steps="13920" --min_snr_gamma=5 --mixed_precision="fp16" --network_alpha="1" --network_dim=128 --network_module=networks.lora --optimizer_type="Adafactor" --output_dir="/.../WACV_2025/Training/Train_CholectL45/kohya_ss_CholectL45/model" --output_name="Whole_s87_cholect45" --pretrained_model_name_or_path="/.../v1-5-pruned.safetensors" --save_every_n_epochs="1" --save_model_as=safetensors --save_precision="fp16" --text_encoder_lr=0.0012 --train_batch_size="5" --train_data_dir="/.../WACV_2025/Training/Train_CholectL45/kohya_ss_CholectL45/img" --unet_lr=0.0012 --xformers

2. 推理

   • 推理工具: 使用 WebUI 进行推理。
   • 推理步骤:
     • 运行 WebUI + ControlNet++ 扩展：https://github.com/AUTOMATIC1111/stable-diffusion-webui
     • 使用 WebUI API：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/API
     • 使用 ControlNet 检查点：https://github.com/Mikubill/sd-webui-controlnet
     • 下载 SoftEdge 和 Depth：https://huggingface.co/huchenlei/ControlNet_plus_plus_collection_fp16/tree/main
     • 使用 api_inference.ipynb 进行推理。

引用

• 会议: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025
• 论文引用: bibtex @misc{martyniak2024simuscope, title={SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models}, author={Sabina Martyniak and Joanna Kaleta and Diego DallAlba and Michał Naskręt and Szymon Płotka and Przemysław Korzeniowski}, year={2024}, eprint={2412.02332}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

SimuScope数据集的构建基于手术模拟与扩散模型技术，通过训练Lora CholectG45和Lora CholectL45两个模型来生成逼真的内窥镜图像。训练过程采用了kohya_ss工具，通过预训练模型v1-5-pruned.safetensors进行微调，设置了一系列参数如学习率、训练步数、分辨率等，以确保生成图像的质量和多样性。训练数据存储在特定的文件夹结构中，便于后续的模型训练和验证。

特点

SimuScope数据集的显著特点在于其高度逼真的内窥镜图像生成能力，得益于先进的扩散模型和精细的参数调整。数据集包含了多种手术场景的模拟图像，能够有效支持计算机视觉在医疗领域的应用研究。此外，数据集的生成过程透明且可重复，确保了研究结果的可信度和可验证性。

使用方法

使用SimuScope数据集时，用户可以通过WebUI和ControlNet++扩展进行推理操作。首先，需安装并运行WebUI，然后通过API接口进行数据集的调用和处理。数据集的推理过程可通过api_inference.ipynb脚本实现，用户可以根据需要调整参数以获得最佳的图像生成效果。此外，数据集的预训练模型和相关工具均可在GitHub和Hugging Face上获取，便于用户进行定制化开发和研究。

背景与挑战

背景概述

SimuScope数据集是由Sabina Martyniak等研究人员在2024年创建的，旨在通过外科模拟和扩散模型生成逼真的内窥镜合成数据。该数据集的核心研究问题是如何利用先进的计算视觉技术生成高质量的内窥镜图像，以支持医学影像分析和手术模拟。SimuScope的开发不仅提升了内窥镜图像的合成质量，还为计算机视觉在医学领域的应用提供了新的可能性。该数据集已被IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025接受，并公开发布在Zenodo平台上，供全球研究者使用。

当前挑战

SimuScope数据集在构建过程中面临多项挑战。首先，生成逼真的内窥镜图像需要高精度的模拟技术，这要求模型在训练过程中能够捕捉到细微的解剖结构和光照变化。其次，数据集的训练涉及复杂的扩散模型和LoRA（Low-Rank Adaptation）技术，这些技术的参数调整和优化过程极为复杂。此外，数据集的生成还需要处理大量的计算资源和时间，以确保生成的图像具有高分辨率和细节。最后，数据集的验证和评估也是一个重要挑战，需要确保生成的图像在临床应用中具有实际价值和可靠性。

常用场景

经典使用场景

在医学影像领域，SimuScope数据集通过结合手术模拟与扩散模型，生成高度逼真的内窥镜合成图像。这一数据集的经典使用场景主要集中在内窥镜图像的生成与增强，特别是在训练深度学习模型以提高内窥镜手术的精确度和安全性方面。通过模拟真实手术环境中的各种复杂情况，SimuScope为研究人员提供了一个强大的工具，用以开发和验证新的图像处理算法和手术辅助系统。

解决学术问题

SimuScope数据集解决了医学影像处理中的多个关键学术问题，特别是在内窥镜图像的合成与增强方面。它通过提供高质量的合成图像，帮助研究人员克服了真实数据获取困难和伦理限制的问题。此外，该数据集还促进了深度学习模型在复杂手术环境中的适应性和鲁棒性研究，为提高手术精度和减少手术风险提供了理论支持和技术基础。

衍生相关工作

SimuScope数据集的发布催生了一系列相关研究工作，特别是在内窥镜图像处理和手术模拟领域。研究人员利用该数据集开发了多种图像增强和分析算法，显著提高了内窥镜图像的质量和手术辅助系统的性能。此外，SimuScope还激发了关于如何更有效地利用合成数据进行模型训练和验证的研究，推动了医学影像处理技术的进步和应用。