VR-CAPS synthetic data

该数据集是从VR-CAPS中模拟的结肠图像，用于折叠分割任务。数据集包含1400张模拟图像，这些图像通过自动计算网格几何中的曲率主方向进行自动标注，以确定折叠区域。该数据集旨在帮助医生和外科医生在结肠镜检查图像中自动检测解剖学标志，从而辅助诊断、治疗或医疗培训。

This dataset contains 1400 simulated colon images generated from VR-CAPS, which are designed for fold segmentation tasks. These images are automatically annotated by calculating the principal directions of curvature in the grid geometry to determine the fold regions. This dataset aims to aid physicians and surgeons in automatically detecting anatomical landmarks within colonoscopy images, so as to assist with diagnosis, treatment, or medical training.

原始信息汇总

数据集概述

1. 基本信息

• 数据集名称：Sim2Real in endoscopy segmentation with a novel structure aware image translation
• 相关论文：Tomasini C., Riazuelo, L. & Murillo, A.C. (2024) Sim2Real in endoscopy segmentation with a novel structure aware image translation in SASHIMI Workshop at MICCAI.

2. 数据集内容

• 数据类型：
  • RGB图像（original.zip）
  • 二进制分割掩码（gt.zip）
  • 实例分割掩码（inst.zip）
• 数据来源：
  • 模拟测试集（基于VR-CAPS）
  • 真实测试集（来自EndoMapper数据集）

3. 数据获取

• 真实测试集下载地址：Real test set from EndoMapper dataset

4. 相关资源

• 图像翻译流程示意图：
• 结果可视化示例：

搜集汇总

数据集介绍

构建方式

VR-CAPS synthetic data的构建基于虚拟结肠镜技术，通过从CT扫描中获取的3D结肠网格模型生成模拟图像。研究团队利用VR-CAPS平台自动生成图像序列，并基于网格几何特性自动标注褶皱区域，这些褶皱区域通过计算网格曲率主方向的变化来识别。此外，数据集还包含自动生成的深度图，为后续的图像翻译任务提供了关键的结构信息。整个构建过程充分利用了合成数据的优势，避免了真实数据标注的高成本问题。

特点

该数据集的核心特点在于其独特的结构保持能力与多模态标注信息。通过创新的深度一致性约束方法，在图像风格迁移过程中有效保留了原始褶皱的形态学特征，解决了传统生成模型易导致结构失真的问题。数据集不仅包含常规的二进制分割标注，还提供了实例级分割掩膜和深度图，为医学图像分析任务提供了多维度的监督信号。特别值得注意的是，所有标注均通过算法自动生成，确保了标注效率与一致性，同时避免了人工标注可能引入的主观偏差。

使用方法

该数据集主要用于训练结肠镜褶皱分割模型，其使用流程分为三个阶段：首先加载带有自动标注的原始合成图像，然后通过改进的CycleGAN模型进行结构保持的风格迁移，最后利用增强后的数据训练基于EndoFM-TransUNet架构的分割网络。研究人员可采用端到端训练策略，或分阶段优化图像翻译模块与分割模块。为提升模型泛化性，建议采用论文提出的配对批次训练方法，同时输入风格迁移前后的图像对。评估时可直接在真实结肠镜图像上测试模型性能，无需任何真实数据的标注监督。

背景与挑战

背景概述

VR-CAPS synthetic data是由DIIS - I3A - Universidad de Zaragoza的研究团队于2025年提出的一个专注于内窥镜图像分割的数据集。该数据集的核心研究问题在于解决内窥镜图像中解剖标志物的自动分割问题，特别是在结肠镜检查中褶皱的分割。由于真实内窥镜图像的标注成本高且难度大，研究团队通过合成数据生成和图像翻译技术，构建了一个具有自动标注的合成数据集。这一工作不仅填补了褶皱分割领域公开基准数据的空白，还为医学诊断和治疗提供了重要的辅助工具。

当前挑战

VR-CAPS synthetic data面临的挑战主要包括两个方面：首先，在领域问题方面，内窥镜图像中的褶皱分割由于图像复杂性和标注困难，导致现有模型在真实数据上的泛化能力不足；其次，在数据构建过程中，合成数据缺乏真实纹理，需要通过图像翻译技术添加真实感，同时保持原始场景的关键结构信息，这对模型的深度一致性和结构保持能力提出了较高要求。

常用场景

经典使用场景

VR-CAPS合成数据集在医学影像分析领域具有重要应用价值，尤其在结肠镜图像分割任务中表现出色。该数据集通过模拟3D结肠模型生成大量带有自动标注的合成图像，为缺乏真实标注数据的研究提供了宝贵资源。其最经典的使用场景是作为训练数据，帮助开发能够在真实结肠镜图像中准确分割褶皱（fold）的深度学习模型。通过结合创新的图像翻译技术，这些合成数据能够有效弥补真实医学影像数据标注困难的缺陷。

实际应用

在实际医疗场景中，VR-CAPS数据集的应用主要体现在辅助医生进行结肠癌筛查和诊断。通过基于该数据集训练的褶皱分割模型，可以实时识别结肠壁上的褶皱结构，帮助医生更全面地检查可能被褶皱遮挡的息肉区域。这种技术能够降低结肠镜检查中的漏诊率，提高早期癌症的检出概率，同时也为医学培训提供了有价值的教学工具。

衍生相关工作

VR-CAPS数据集催生了一系列重要的相关研究工作。FoldIt模型利用该数据集进行褶皱分割任务，成为该领域的基准方法之一。EndoSim2Real和SPIGAN等研究则基于该数据集探索了不同域适应策略。最新的EndoFM基础模型也整合了VR-CAPS数据，提升了多个内窥镜分析任务的性能。这些衍生工作共同推动了医学图像分析领域的技术进步，为临床应用的实现奠定了基础。