MEMO

MEMO是首个公开的多模态EMA和OCTA视网膜图像数据集，由马里兰大学生物工程系创建。该数据集包含30对EMA和OCTA图像，每对图像手动标注了6个对应点，用于研究多模态视网膜图像注册。MEMO特别之处在于其包含的两种模态间血管密度差异较大，为解决这一挑战，研究团队提出了基于分割的深度学习框架VDD-Reg和一个新的评估指标MSD。数据集不仅用于视网膜图像注册研究，还可能应用于自动红细胞追踪等多个研究领域。MEMO is the first publicly available multimodal retinal image dataset encompassing EMA and OCTA modalities, developed by the Department of Bioengineering at the University of Maryland. This dataset includes 30 pairs of EMA and OCTA images, with each pair manually annotated with 6 corresponding landmarks for research on multimodal retinal image registration. A notable feature of MEMO is the significant difference in vascular density between its two imaging modalities. To address this challenge, the research team proposed a segmentation-based deep learning framework named VDD-Reg and a novel evaluation metric called MSD. In addition to retinal image registration research, this dataset also has potential applications in multiple research fields such as automated red blood cell tracking.

搜集汇总

数据集介绍

构建方式

在视网膜影像分析领域，多模态图像配准对于精确测量视网膜血流至关重要。MEMO数据集的构建基于非人类灵长类动物实验，通过同步采集红细胞介导血管造影（EMA）和光学相干断层扫描血管成像（OCTA）图像对。具体流程包括在相同会话中使用Heidelberg Spectralis平台获取EMA图像序列和OCTA扫描，其中EMA图像通过跟踪荧光标记的红细胞运动生成二维血流信息，而OCTA则提供视网膜毛细血管的三维结构图像。每个图像对均经过手动标注六对对应点作为配准真值，确保数据的高质量与可靠性。此外，数据集还包含OCTA的三个血管层投影图像以及原始EMA序列，为多模态研究提供了丰富的基础。

特点

MEMO数据集作为首个公开的EMA与OCTA多模态视网膜图像数据集，其独特之处在于两种模态间存在显著的血管密度差异，这一差异超过30%，为多模态配准带来了前所未有的挑战。数据集包含30对图像，每对均提供全局配准真值，并额外提供EMA图像序列和OCTA分层投影图像，支持红细胞追踪等扩展研究。与现有数据集相比，MEMO不仅填补了EMA与OCTA配准数据的空白，还通过引入大血管密度差异场景，推动了配准算法的鲁棒性评估。数据集的多样性和精确标注使其成为视网膜疾病早期诊断与治疗研究的重要资源。

使用方法

MEMO数据集的使用旨在促进多模态视网膜图像配准算法的开发与评估。研究人员可首先利用数据集中提供的配准真值，通过计算重投影误差等指标验证算法的准确性。针对血管密度差异的挑战，可采用提出的VDD-Reg框架，该框架基于分割的深度学习配准方法，结合两阶段半监督学习策略，仅需少量标注血管分割掩码即可实现鲁棒配准。此外，数据集中的EMA序列和OCTA投影图像可用于血流动力学分析或三维结构重建。通过公开访问链接，用户可下载完整数据，并参考论文中的实验设置进行模型训练与测试，以推动视网膜影像分析领域的创新。

背景与挑战

背景概述

在眼科医学影像研究领域，视网膜血流（RBF）的精确测量对于早期诊断和治疗眼部疾病具有关键意义。然而，单一成像模态难以高精度地测定毛细血管血流速率。为此，由马里兰大学研究团队于2023年创建的MEMO数据集应运而生，作为首个公开的多模态红细胞介导血管造影（EMA）与光学相干断层扫描血管成像（OCTA）视网膜图像数据集，其核心研究目标在于解决EMA与OCTA图像之间的鲁棒配准问题，以融合EMA提供的绝对二维血流信息与OCTA的三维毛细血管结构图像，从而推动视网膜微血管功能与结构综合分析的发展，为青光眼、糖尿病视网膜病变等致盲性疾病的早期检测提供新的技术支撑。

当前挑战

MEMO数据集所针对的多模态视网膜图像配准领域，面临因成像原理差异导致的血管密度（VD）显著不同这一独特挑战，具体表现为EMA与OCTA图像间血管密度差异超过30%，使得传统配准方法在特征匹配时易受细小血管缺失干扰而性能下降。在数据集构建过程中，研究团队需克服非人灵长类动物实验的伦理与技术复杂性，包括活体图像采集的稳定性控制、多模态数据时空对齐的精度保障，以及手动标注配对关键点所需的高专业门槛，这些因素共同构成了数据集创建的核心难点。

常用场景

经典使用场景

在眼科影像分析领域，多模态视网膜图像配准是提升疾病诊断精度的关键技术。MEMO数据集作为首个公开的红细胞介导血管造影与光学相干断层扫描血管成像配对数据集，其经典应用场景集中于解决EMA与OCTA图像间的跨模态配准难题。通过提供包含手动标注对应点的图像对，该数据集为开发鲁棒配准算法提供了基准测试平台，尤其适用于处理血管密度差异显著的复杂情况。

解决学术问题

MEMO数据集主要针对多模态视网膜图像配准中血管密度差异大导致的配准性能下降问题。传统方法在血管结构相似度高的模态间表现良好，但面对EMA与OCTA间超过30%的血管密度差异时往往失效。该数据集通过引入分割驱动的深度学习框架VDD-Reg与新型评估指标MSD，有效解决了跨模态特征匹配的稳定性问题，推动了视网膜血流定量测量方法的发展，为早期眼疾诊断提供了更可靠的影像学依据。

衍生相关工作

基于MEMO数据集提出的VDD-Reg框架与LVD-Seg半监督学习范式，已衍生出一系列针对多模态医学图像配准的改进研究。例如，该工作启发了对扫描激光检眼镜图像与OCTA配准的通用化探索，并被扩展应用于眼底自发荧光与OCTA的跨模态对齐。此外，其提出的掩膜软骰子损失函数为处理血管密度差异大的影像配对评估设立了新标准，促进了自适应光学设备等多模态成像系统的集成算法开发。