SCARED-C

SCARED-C数据集是由CINVESTAV Unidad Guadalajara等机构创建，专门用于评估内窥镜深度预测模型的鲁棒性。该数据集包含17607帧图像，涵盖了35个内窥镜视频，并附有点云和自我运动地面真值注释。数据集创建过程中，模拟了内窥镜环境中常见的16种图像损坏，每种损坏分为五个严重级别。SCARED-C数据集的应用领域主要集中在医疗成像中的深度估计，旨在解决内窥镜成像中的深度预测鲁棒性问题。

The SCARED-C dataset was created by institutions including CINVESTAV Unidad Guadalajara, and is specifically designed to evaluate the robustness of endoscopic depth prediction models. This dataset contains 17,607 image frames spanning 35 endoscopic videos, accompanied by point cloud and ego-motion ground truth annotations. During the dataset development process, 16 common types of image corruptions in endoscopic environments were simulated, with each corruption category having five severity levels. The primary application scope of the SCARED-C dataset is depth estimation in medical imaging, aiming to address the robustness issue of depth prediction in endoscopic imaging.

原始信息汇总

EndoscopyCorruptions 数据集概述

数据集简介

endoscopycorruptions 是一个 Python 包，用于模拟内窥镜手术中常见的图像损坏。该工具旨在通过向干净图像引入现实损坏来辅助开发和测试用于内窥镜图像处理的算法。通过评估算法对损坏图像的处理能力，开发者可以更好地理解其解决方案的鲁棒性和局限性。

主要功能

• Corrupt 函数：将指定的损坏应用于输入图像。
• Get Corruption Names 函数：列出所有可应用的损坏类型。

使用方法

导入函数

python from endoscopycorruptions import corrupt, get_corruption_names from PIL import Image import numpy as np import matplotlib.pyplot as plt import os

加载图像

使用 PIL 加载测试图像并将其转换为 numpy 数组： python image = np.asarray(Image.open(test_image.png)) plt.imshow(image)

预处理

如果图像包含 alpha 通道，可以移除以确保兼容性： python if len(image.shape) > 2 and image.shape[2] == 4: image = image[:, :, :3]

列出可用损坏类型

使用以下代码查看可应用的损坏类型： python get_corruption_names()

应用损坏

可以按以下方式将损坏应用于图像： python

示例：应用镜头畸变，严重程度为5

corrupted_image = corrupt(image, corruption_name=lens_distortion, severity=5) plt.imshow(corrupted_image) plt.show()

应用所有损坏并保存结果

python for corruption in get_corruption_names(): for severity in range(5): corrupted = corrupt(image, corruption_name=corruption, severity=severity+1) plt.imshow(corrupted) plt.axis(off)

    folder_path = f"data/{corruption}/"
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)

    plt.savefig(f{folder_path}/c_{corruption}_sev{severity + 1}.png, bbox_inches=tight)
print(corruption)

依赖要求

该包需要以下依赖：

• Python 3.x
• PIL (Pillow)
• NumPy
• Matplotlib
• 如果希望使用提供的 Jupyter Notebook 进行演示，则需要能够运行 Jupyter Notebook 的环境。

引用

如果发现该工作有用，请考虑引用： bibtex @misc{Ivanrs297_endoscopycorruptions, author = {Ivan Reyes-Amezcua and Ricardo Espinosa and Andres Mendez-Vazquez and Gilberto Ochoa-Ruiz and Christian Daul}, title = {EndoscopyCorruptions: A Python package to simulate common image corruptions in endoscopic procedures}, year = {2024}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/Ivanrs297/endoscopycorruptions}}, }

搜集汇总

数据集介绍

构建方式

SCARED-C数据集的构建旨在评估内窥镜深度预测模型的鲁棒性。该数据集通过模拟内窥镜环境中常见的图像损坏，如光照变化、传感器故障和镜头畸变等，来生成多样化的图像样本。具体而言，SCARED-C数据集包含了16种不同类型的损坏，每种损坏又分为五个严重级别，从而全面覆盖了内窥镜成像中可能遇到的各种挑战。这些损坏类型包括亮度变化、对比度调整、雾化效果、失焦模糊、玻璃模糊、运动模糊、高斯噪声、脉冲噪声、镜头畸变等，每种损坏都经过精心设计，以模拟真实内窥镜操作中的图像质量下降情况。

特点

SCARED-C数据集的主要特点在于其高度逼真的损坏模拟和广泛的覆盖范围。通过引入多种损坏类型和严重级别，该数据集能够有效评估深度预测模型在面对内窥镜图像中的常见问题时的表现。此外，SCARED-C数据集还提供了详细的标注信息，包括点云和自我运动数据，这为模型的训练和验证提供了坚实的基础。数据集的多样性和复杂性使其成为开发和测试内窥镜深度预测算法的重要资源，有助于推动该领域的发展。

使用方法

SCARED-C数据集适用于评估和改进内窥镜深度预测模型的鲁棒性。研究人员可以使用该数据集来训练和验证深度学习模型，通过引入各种损坏类型来测试模型在不同条件下的表现。具体使用方法包括将数据集分为训练集、验证集和测试集，利用标注信息进行监督学习或自监督学习。此外，SCARED-C数据集还支持使用新的复合指标mDERS（平均深度估计鲁棒性得分）来评估模型的性能，该指标综合考虑了模型的准确性和对图像损坏的抵抗能力。通过这些方法，研究人员可以更全面地了解和提升内窥镜深度预测模型的性能。

背景与挑战

背景概述

在医学成像领域，内窥镜手术中的深度估计对于实现计算机视觉管道和计算机辅助工具的成功应用至关重要。SCARED-C数据集由Ivan Reyes-Amezcua等研究人员于2024年创建，旨在评估单目深度预测模型在内窥镜场景中的鲁棒性。该数据集的开发背景源于传统数据集在处理内窥镜过程中常见挑战的不足。SCARED-C数据集通过模拟内窥镜环境中常见的图像损坏，为研究人员提供了一个评估和改进深度估计模型鲁棒性的平台，从而推动了医学成像技术的发展。

当前挑战

SCARED-C数据集面临的挑战主要包括两个方面：一是解决内窥镜深度估计中的领域问题，如图像分类和深度预测的准确性；二是数据集构建过程中遇到的挑战，如获取内窥镜图像的真实深度数据和处理极端采集条件下的图像损坏。具体挑战包括：1) 内窥镜图像中常见的损坏类型，如曝光不良、传感器故障和纹理缺失，这些都对深度估计模型的鲁棒性提出了高要求；2) 构建过程中需要模拟和分类多种损坏类型及其严重程度，以确保数据集能够全面评估模型的性能。

常用场景

经典使用场景

SCARED-C数据集在评估内窥镜深度预测模型的鲁棒性方面具有经典应用。该数据集通过模拟内窥镜环境中常见的图像损坏，如光照变化、传感器故障和镜头畸变等，为研究人员提供了一个系统化的评估框架。通过使用SCARED-C数据集，研究人员可以深入分析现有深度预测模型在面对内窥镜特定挑战时的表现，从而推动更鲁棒和可靠的内窥镜深度预测系统的发展。

衍生相关工作

SCARED-C数据集的发布催生了一系列相关研究工作，特别是在内窥镜深度预测和图像处理领域。例如，基于SCARED-C的评估框架，研究人员开发了新的深度预测模型，如AF-SfMLearner和MonoViT，这些模型在面对内窥镜图像损坏时表现出更高的鲁棒性。此外，SCARED-C还激发了对内窥镜图像损坏机制的深入研究，推动了图像恢复和增强技术的发展。

数据集最近研究

最新研究方向

在医学影像领域，SCARED-C数据集的最新研究方向聚焦于内窥镜深度预测模型的鲁棒性评估。随着内窥镜技术在医疗诊断中的广泛应用，精确的深度估计对于成功实施计算机视觉管道和CAD工具至关重要。EndoDepth基准测试框架的引入，旨在评估单目深度预测模型在内窥镜场景中的鲁棒性。该框架不仅模拟了内窥镜手术中常见的挑战，还提出了一种新的复合度量——平均深度估计鲁棒性评分（mDERS），以深入评估模型在面对内窥镜图像损坏时的准确性。通过广泛实验，研究揭示了现有深度预测架构在处理内窥镜图像挑战性伪影时的优缺点，为未来研究提供了宝贵的方向。

相关研究论文

• EndoDepth: A Benchmark for Assessing Robustness in Endoscopic Depth Prediction

  CINVESTAV Unidad Guadalajara, Mexico · 2024年