A Novel Hybrid Endoscopic Dataset

本研究介绍了一种新型混合内窥镜数据集，旨在评估基于机器学习的图像增强模型。该数据集由蒙特雷科技大学等机构创建，包含2216条合成生成的过曝光和欠曝光帧及其对应的地面实况图像。数据集通过生成对抗网络技术生成，用于探索浅层和深度学习基础的图像增强方法。此数据集主要应用于医学成像领域，特别是内窥镜检查中的图像增强，以解决由于光照条件变化导致的诊断信息缺失问题。

This study introduces a novel hybrid endoscopic dataset designed to evaluate machine learning-based image enhancement models. Developed by institutions including the Monterrey Institute of Technology and Higher Education, this dataset contains 2216 synthetic overexposed and underexposed frames along with their corresponding ground truth images. Generated using generative adversarial network (GAN) techniques, this dataset is intended to explore image enhancement methods based on both shallow and deep learning. It is primarily applied in the field of medical imaging, particularly for image enhancement in endoscopic examinations, to address the issue of missing diagnostic information caused by varying lighting conditions.

搜集汇总

数据集介绍

构建方式

在医学内窥镜影像领域，光照不均问题长期制约着计算机辅助诊断与三维重建技术的发展。为应对这一挑战，本研究构建了一种新型混合内窥镜数据集，其核心方法融合了多源数据整合与生成对抗网络技术。首先，从EAD2020、EAD2.0及HyperKvasir三个公开数据集中筛选出7064张原始内窥镜图像，并利用基于YOLOv4的物体检测器自动识别并分类正常、过曝与欠曝帧。随后，采用CycleGAN架构进行图像到图像的风格迁移，将正常帧合成为具有对应曝光伪影的配对图像，最终通过结构相似性指数与均方误差指标进行质量过滤，得到包含985张欠曝与1231张过曝的配对数据集。

特点

该数据集在医学影像增强研究领域展现出鲜明的特色，其最突出的优势在于提供了精准配对的真实与合成图像。每一组数据均由原始正常内窥镜帧及其通过生成对抗网络合成的过曝或欠曝版本构成，这种结构为基于参考的图像质量评估指标如SSIM和PSNR的应用奠定了坚实基础。此外，数据集涵盖了胃肠道等多种空腔器官的影像，并同时包含过曝光与欠曝光两种常见且共存的照明伪影，从而能够全面评估增强算法在复杂光照条件下的双向校正能力。这种设计有效弥补了内窥镜影像领域缺乏大规模配对基准数据集的空白。

使用方法

该数据集主要服务于机器学习驱动的内窥镜图像增强模型的训练与评估。研究人员可利用其配对特性，以合成曝光错误图像作为输入，对应的原始正常图像作为真实标签，监督训练深度神经网络模型，如论文中采用的LMSPEC方法。在测试阶段，通过计算增强后图像与真实标签之间的全参考指标，可以客观量化不同算法在噪声抑制、结构保持与色彩还原等方面的性能。此外，该数据集也为比较传统方法（如基于直方图均衡化或Retinex理论的方法）与深度学习方法提供了统一基准，有助于推动实时、鲁棒的内窥镜影像增强技术的发展，并最终服务于计算机辅助检测与手术导航等临床应用。

背景与挑战

背景概述

内窥镜成像作为癌症与息肉检测的核心技术，其图像质量常受光源姿态变化引发的照明伪影影响，导致过曝与欠曝区域并存，进而干扰临床诊断与计算机视觉算法的鲁棒性。为应对这一挑战，由墨西哥蒙特雷理工学院、法国洛林大学及安布鲁瓦兹·帕雷医院等机构的研究团队于2022年共同构建了名为“A Novel Hybrid Endoscopic Dataset”的合成数据集。该数据集通过生成对抗网络技术，首次提供了包含配对真实图像与合成曝光异常图像的基准数据，旨在系统评估机器学习驱动的光度图像增强模型，为内窥镜影像的实时增强与三维重建等应用奠定数据基础，推动了医学影像计算领域的方法创新与标准化进程。

当前挑战

该数据集致力于解决内窥镜影像中因光照突变导致的过曝与欠曝问题，其核心挑战在于如何同时处理双向曝光异常，而现有方法多仅针对单一曝光场景设计，缺乏对复杂照明条件的统一适应能力。在构建过程中，研究团队面临内窥镜领域配对数据稀缺的困境，需从多个现有数据集中筛选并标注有效帧，并借助目标检测器与循环生成对抗网络实现未配对数据的风格迁移。此外，合成图像仍需克服噪声引入、色彩失真等伪影问题，且需确保增强模型在保持结构相似性与峰值信噪比的同时，满足内窥镜实时处理所需的低延迟要求，这对算法效率与泛化性能提出了双重考验。

常用场景

经典使用场景

在医学影像分析领域，内窥镜图像常因光源移动导致曝光不均，影响诊断准确性。该数据集通过生成对抗技术合成包含过曝与欠曝的配对图像，为机器学习模型提供了标准化的测试基准。其经典应用场景在于评估和比较各类图像增强算法，如基于直方图均衡的传统方法或深度学习方法，以优化内窥镜图像的视觉质量，确保在复杂光照条件下的稳定表现。

实际应用

在实际医疗场景中，该数据集直接服务于内窥镜检查与微创手术的实时图像处理。通过增强曝光异常区域的细节，它帮助医生更准确地识别病变组织，如结肠癌筛查中的息肉检测。同时，优化后的图像为手术机器人提供了清晰的视觉反馈，提升了操作精度与安全性，缩短了患者的恢复时间，体现了人工智能在临床实践中的转化价值。

衍生相关工作

基于该数据集，多项经典研究工作得以衍生，包括对LMSPEC等深度学习模型的性能验证，以及与传统方法如Retinex理论或直方图均衡技术的对比分析。这些工作不仅推动了内窥镜图像增强领域的算法创新，还催生了针对实时处理需求的低延迟模型开发。此外，数据集为后续生成对抗网络在医学影像合成中的应用提供了范式，促进了多中心合作与标准化评估框架的建立。