MaLissa (Matched Lissajous CLE)

MaLissa是由浦项工科大学与VPIX Medical联合创建的首个开放基准数据集，专注于高帧率Lissajous共聚焦激光内窥镜（CLE）的图像修复研究。该数据集包含2,060组配对的低质量视频帧与高质量参考图像，数据来源于猪胃组织样本，采用1024×1024分辨率采集，其中低质量帧以10Hz频率采集导致70%以上像素缺失，而高质量帧以2Hz频率采集并通过双线性插值补全。数据集通过相位相关配准算法将稀疏帧与拼接后的宽视场高质量马赛克图像对齐，旨在解决临床内窥镜场景下运动伪影和像素稀疏性问题，为实时活体光学活检提供关键训练资源。MaLissa is the first open-access benchmark dataset jointly developed by Pohang University of Science and Technology (POSTECH) and VPIX Medical, focusing on image restoration research for high-frame-rate Lissajous confocal laser endomicroscopy (CLE). The dataset comprises 2,060 paired low-quality video frames and corresponding high-quality reference images, acquired from porcine gastric tissue samples at a resolution of 1024×1024. Specifically, the low-quality frames are captured at 10 Hz, leading to over 70% pixel loss, while the high-quality frames are collected at 2 Hz and completed via bilinear interpolation. The dataset aligns the sparse frames with the stitched wide-field high-quality mosaic images using a phase-correlation registration algorithm, aiming to address the issues of motion artifacts and pixel sparsity in clinical endoscopy scenarios, and serve as a critical training resource for real-time in vivo optical biopsy.

搜集汇总

数据集介绍

构建方式

MaLissa数据集的构建基于一套精心设计的匹配策略，旨在克服高速利萨茹扫描共聚焦激光内窥镜（CLE）成像中视野不一致的难题。研究者首先从猪胃组织中以10Hz高频采集低质量（LQ）视频帧，同时以2Hz低频获取高质量（HQ）帧。由于两种帧的采集轨迹不同，直接配对不可行，因此他们通过拼接HQ帧构建大范围马赛克图像，并为每张LQ帧在该马赛克中寻找最佳匹配的子图作为HQ标签。具体步骤包括：利用汉宁窗融合25张重叠约20%的HQ帧生成马赛克；通过傅里叶变换相位相关法聚合LQ帧的相邻帧以增强结构信息；采用最大池化下采样后进行相位相关匹配，保留相关性高于阈值（0.05）的配对；最后，通过模板匹配向时间相邻帧传播，扩展匹配集。最终数据集包含2,060对精心筛选的配对，其中1,619对用于训练，441对用于验证。

特点

MaLissa数据集具备多项显著特点。首先，它是首个公开的利萨茹高速CLE恢复基准，聚焦于高频扫描带来的高度稀疏像素问题——超过70%的像素缺失，形成结构化空洞。其次，数据集的配对方式创新性地解决了低频HQ帧与高频LQ帧视野不一的问题，通过马赛克匹配实现了时间对齐的监督信号。此外，数据来源为猪胃组织，其解剖和生理特性与人体胃肠道高度相似，具有良好的临床相关性。在采集过程中，研究者模拟了临床操作中的不规则探头运动，使得LQ帧包含运动伪影，增强了数据集的真实性和挑战性。最终，数据集覆盖了16段原始视频片段，共3,988帧，并以1,024×1,024像素的高分辨率呈现，视野大小为500×500微米，为模型训练提供了丰富且高质量的样本。

使用方法

MaLissa数据集旨在用于训练和评估多帧利萨茹CLE恢复模型，特别是论文提出的MIRA（多帧迭代恢复）框架。使用方法上，研究者将每对LQ-HQ帧作为输入-目标对，其中LQ帧为10Hz采集的稀疏灰度图像（缺失像素值为0），HQ帧为2Hz采集且经双线性插值填充的密集图像。训练时，从配对中随机裁剪256×256像素的补丁，并引入补丁级拒绝采样策略：将每个补丁分为8×8块，计算HQ补丁与增强后LQ帧之间的块级均方误差；若不一致区域超过12.5%，则拒绝该补丁并重新采样，以消除相位相关对齐带来的亮度不匹配。模型采用Charbonnier损失与频域L1损失的联合损失函数进行优化，在NVIDIA RTX 6000 Ada GPU上经过600个epochs训练，最终实现了22.88dB的PSNR和0.6008的SSIM，显著优于其他视频恢复基线。数据集还支持下游任务评估，例如样本区域检索和语义分割，通过伪标签方法（使用MedSAM提示分割）验证恢复帧的结构一致性。

背景与挑战

背景概述

MaLissa（Matched Lissajous CLE）数据集由韩国浦项科技大学（POSTECH）与VPIX Medical公司于2026年联合创建，聚焦于高帧率李萨如共聚焦激光内窥显微镜（CLE）图像恢复这一新兴领域。核心研究问题在于：高帧率扫描虽能减少运动伪影，但李萨如轨迹导致大量像素未被采样（空洞率达70%以上），传统单帧恢复方法面临严峻挑战。通过构建首个开源配对数据集（包含2060对10Hz低质量帧与2Hz高质量参考图像），研究人员利用拼接匹配策略解决了视野不一致难题。该数据集推动了轻量级递归恢复框架MIRA的诞生，为实时光学活检临床应用奠定基础，在医学成像与计算视觉交叉领域具有重要影响力。

当前挑战

数据集面临的核心挑战来自三大维度：首先，高帧率李萨如CLE图像存在严重的结构化空洞与运动畸变，单帧恢复因信息缺失成为病态问题，需探索多帧时间融合策略，但传统光流法因像素稀疏难以适用。其次，构建过程中原始低、高质量视频因扫描轨迹不同导致视野不匹配，且异步采集引发局部强度不一致，研究者需设计基于相位相关与模板匹配的拼接匹配方法，并辅以时间传播策略确保配对准确性。此外，运动伪影常降低结构线索，影响匹配鲁棒性，需通过增强帧聚合与阈值筛选剔除低质对，最终仅保留约50%候选帧作为训练数据。

常用场景

经典使用场景

在高速Lissajous共焦激光内窥显微成像领域，由于扫描轨迹的谐振特性导致每帧存在大量结构化缺失像素，MaLissa数据集为多帧图像复原任务提供了首个公开基准。研究者利用该数据集训练和评估能够从稀疏、运动畸变的低质量帧序列中恢复高密度、高保真图像的网络模型，其经典使用场景聚焦于学习如何有效聚合时序上下文信息以填补像素空洞，同时抑制由探头与组织相对运动引发的伪影，从而在保证低延迟的前提下实现像素级与结构级的双重复原。

实际应用

在临床内窥镜检查场景中，MaLissa数据集支撑的实际应用主要体现于提升术中光学活检的诊断可靠性。经MIRA等模型恢复后的高帧率图像能够展现更清晰的细胞级微结构细节，从而辅助医师识别病灶区域并减少因运动伪影造成的误判。此外，该数据集还为下游任务如样本区域检索和语义分割提供了验证基础，其恢复结果在检索准确率和分割精度上均优于传统方法，预示着在实时引导的胃肠镜、神经外科等介入性手术中具有潜在的临床转化价值。

衍生相关工作

基于MaLissa数据集，研究者提出了MIRA这一轻量级循环复原框架，该工作通过特征缓存与无光流全局配准模块高效聚合时序信息，在保持低延迟的同时超越了BasicVSR++及Turtle等基线方法。后续工作可沿着模型压缩与低精度量化方向延伸，例如采用FP8/FP16推理以达到100毫秒以内的实时性目标。此外，数据集独特的稀疏采样特性也为跨模态医学图像复原、无监督域适应以及基于记忆网络的持续学习等方向提供了新的实验土壤，有望催生更多针对接触式内窥成像的高效算法。