Colonoscopy 3D Video Dataset (C3VD)

Colonoscopy 3D Video Dataset (C3VD)是由约翰霍普金斯大学开发的高清临床结肠镜视频数据集，旨在为计算机视觉技术在结肠镜检查中的应用提供基准。该数据集包含10,015帧视频，每帧配有真实深度、表面法线、光学流、遮挡、六自由度姿态、覆盖图和3D模型。数据集通过创新的2D-3D注册技术，将光学视频序列与已知3D模型的真实渲染视图对齐，以提高注册精度。C3VD适用于评估和比较深度估计、表面重建和缺失区域检测等3D计算机视觉技术，解决结直肠癌筛查中的关键问题。Colonoscopy 3D Video Dataset (C3VD) is a high-definition clinical colonoscopy video dataset developed by Johns Hopkins University, intended to provide benchmarks for the application of computer vision technologies in colonoscopy. This dataset contains 10,015 video frames, each paired with ground-truth depth maps, surface normals, optical flow, occlusion masks, 6-degree-of-freedom (6DoF) poses, coverage maps, and 3D models. The dataset aligns optical video sequences with photorealistic rendered views of known 3D models via an innovative 2D-3D registration technique to enhance registration accuracy. C3VD is applicable for evaluating and comparing 3D computer vision technologies such as depth estimation, surface reconstruction and missing region detection, addressing critical challenges in colorectal cancer screening.

搜集汇总

数据集介绍

构建方式

C3VD数据集的构建基于高清晰度临床结肠镜和高保真结肠模型，通过一种新颖的多模态2D-3D配准技术实现。该技术通过将光学视频序列与已知的3D模型渲染视图进行配准，利用生成对抗网络（GAN）将光学图像转换为深度图，并通过进化优化器对边缘特征进行对齐。此方法在模拟实验中实现了平均0.321毫米的平移误差和0.159度的旋转误差。22个短视频序列通过配准生成了10,015帧，每帧均带有配对的地面真实深度、表面法线、光流、遮挡、六自由度姿态、覆盖图和3D模型。

特点

C3VD数据集的主要特点在于其高清晰度和多模态配准的精确性。数据集包含了10,015帧高清晰度视频帧，每帧都配对有地面真实深度、表面法线、光流、遮挡和六自由度相机姿态。此外，每个视频序列还配对有地面真实表面模型和覆盖图。这些丰富的标注信息使得C3VD成为评估和比较结肠镜下计算机视觉技术的理想数据集。

使用方法

C3VD数据集可用于评估和开发多种计算机视觉技术，包括深度估计、表面重建和缺失区域检测。研究人员可以通过访问durr.jhu.edu/C3VD获取数据集和配准源代码，进行算法验证和性能比较。数据集中的高清晰度视频帧和配对的地面真实数据为深度学习模型的训练和测试提供了宝贵的资源，有助于推动结肠镜检查中的计算机视觉应用研究。

背景与挑战

背景概述

结直肠癌（CRC）是美国第二大致命癌症，其中至少80%的病例被认为源自癌前腺瘤。筛查结肠镜检查仍然是检测和切除癌前病变的标准方法，有效降低了CRC的风险。然而，估计有22%的癌前病变在筛查过程中未被发现，这些漏诊的病变被认为是间隔CRC（即在阴性筛查结肠镜检查后5年内发生的CRC）的主要贡献者，占CRC病例的6%。结肠镜检查仍然是计算机视觉研究的一个活跃应用领域，旨在减少病变漏诊率并改善临床结果。近年来，卷积神经网络（CNNs）已被用于检测结肠镜视频帧中的可见但有时微妙的息肉。尽管这些算法展示了令人印象深刻的检测率，但它们要求息肉在手术过程中出现在结肠镜视野（FoV）内才能被检测到。漏诊区域——在筛查过程中未成像的结肠区域——在回顾性分析中被发现占结肠表面的估计10%，使患者面临间隔CRC的风险。

当前挑战

开发、评估和比较这些技术在真实结肠镜视频中的应用仍然主要定性，因为难以获取地面实况数据。获取具有准确表面信息的手术环境数据集通常是不切实际的。作为替代方案，已探索了商业和计算机断层扫描（CT）衍生的硅胶模型。表面信息可以通过CT或光学扫描（OS）直接测量，一些腹腔镜中的立体传感器配置可用于生成地面实况深度。除了合成模型外，还使用了离体和体内动物组织来生成具有更现实的双向散射分布函数（BSDF）的数据。最近，游戏引擎如Unity已被用于从3D解剖模型（如CT结肠造影体积）渲染合成图像。渲染数据的优势在于可以从渲染基元中获得无误差的像素级地面实况标签，如深度和表面法线。此外，可以快速生成大量数据。一个显著的缺点是渲染引擎模拟真实世界相机光学、非全局照明、专有的后处理、传感器噪声和光组织相互作用的能力有限。大多数具有真实图像的腹腔镜重建数据集设计用于腹部和胸部的腹腔镜成像。腹腔镜数据集不适合基准测试结肠镜成像，因为它们在角FoV（和相应的畸变）、传感器排列和器官几何形状上存在巨大差异。此外，用刚性腹腔镜模拟结肠镜的真实运动具有挑战性。

常用场景

经典使用场景

Colonoscopy 3D Video Dataset (C3VD) 的经典应用场景主要集中在结肠镜检查中的计算机视觉技术评估。该数据集通过高清晰度临床结肠镜和高质量的结肠模型，为深度估计、表面重建和缺失区域检测等3D计算机视觉技术提供了基准测试数据。通过引入多模态2D-3D配准技术，C3VD能够将光学视频序列与已知的3D模型进行配准，从而生成带有地面真实深度、表面法线、光流、遮挡和六自由度姿态的配对数据。

解决学术问题

C3VD 数据集解决了在真实结肠镜视频中缺乏地面真实数据的问题，这是评估和比较这些技术的主要障碍。通过提供精确的配对数据，C3VD 使得研究人员能够进行定量分析，从而推动了结肠镜检查中计算机视觉技术的发展。这不仅有助于提高病变检测的准确性，还能有效减少筛查过程中的漏诊率，从而提升临床效果。

衍生相关工作

C3VD 数据集的发布催生了一系列相关研究工作，特别是在结肠镜检查中的深度估计和表面重建领域。例如，基于生成对抗网络（GAN）的深度估计方法和同时定位与地图构建（SLAM）技术在该数据集上的应用，显著提升了算法的性能。此外，C3VD 还推动了多模态数据融合和域随机化技术的发展，为更复杂的医学图像处理任务提供了新的思路。