OLIVES

OLIVES数据集是由佐治亚理工学院信号与信息处理中心创建的，旨在研究视觉眼语义的视网膜标签。该数据集是首个包含OCT和近红外眼底图像的数据集，包括临床标签、生物标志物标签、疾病标签和与临床试验相关的患者治疗时间序列信息。数据集包含1268张近红外眼底图像，每张图像至少有49张OCT扫描，以及16种生物标志物，4种临床标签和DR或DME的疾病诊断。总共包含96只眼睛的数据，平均治疗周期至少两年，每只眼睛平均治疗66周，注射7次。OLIVES数据集的应用领域包括眼科疾病的诊断和治疗监测，旨在通过机器学习算法改善眼科医疗领域中的数据处理和分析。

The OLIVES dataset was developed by the Center for Signal and Information Processing at the Georgia Institute of Technology, with the objective of investigating retinal labels for visual ophthalmic semantics. This is the first dataset to incorporate both optical coherence tomography (OCT) and near-infrared (NIR) fundus images, encompassing clinical labels, biomarker labels, disease labels, and patient treatment time-series information linked to clinical trials. The dataset consists of 1268 near-infrared fundus images, each paired with a minimum of 49 OCT scans, along with 16 biomarkers, 4 clinical labels, and disease diagnoses for diabetic retinopathy (DR) or diabetic macular edema (DME). Collectively, data from 96 eyes are included, with an average follow-up treatment duration of at least two years, an average of 66 weeks of treatment and 7 injections per eye. The application areas of the OLIVES dataset include diagnosis and treatment monitoring of ophthalmic diseases, and it aims to improve data processing and analysis in ophthalmic medical practice via machine learning algorithms.

搜集汇总

数据集介绍

构建方式

在眼科医学领域，多模态数据的整合对于疾病诊断与治疗监测至关重要。OLIVES数据集的构建源于PRIME与TREX-DME两项前瞻性随机临床试验，涵盖了2013年12月至2021年4月期间96名患者的纵向数据。数据采集过程遵循严格的临床协议，每次访视均记录近红外眼底图像、光学相干断层扫描（OCT）三维体积数据、最佳矫正视力（BCVA）、中心子区厚度（CST）等临床标签。值得注意的是，数据集通过回顾性标注方式，由经验丰富的分级医师对每位患者首次与末次访视的OCT B扫描添加了16种生物标志物标签，共计9408张扫描图像被精细标注，确保了数据在结构上的完整性与医学上的可解释性。

特点

OLIVES数据集的显著特点在于其多模态与时间序列的深度融合。该数据集不仅包含二维眼底图像与三维OCT扫描，还整合了四类临床标签与十六种生物标志物，形成了从宏观到微观的全方位眼科数据体系。时间维度上，数据集平均覆盖每位患者66周的治疗周期，包含约16次访视记录，为分析疾病演进与治疗响应提供了连续观测基础。此外，数据模态间存在明确的医学关联性，例如生物标志物与疾病状态之间的视觉相关性，以及临床参数与影像特征之间的统计耦合，这为探索跨模态交互机制奠定了坚实基础。

使用方法

OLIVES数据集支持多种机器学习范式的应用研究。在多模态整合方面，研究者可联合OCT影像与临床标签或生物标志物，通过引导损失函数等机制实现知识迁移，提升糖尿病视网膜病变与糖尿病性黄斑水肿的分类性能。在生物标志物解释任务中，可利用临床感知的对比学习策略，以BCVA、CST等标签构建正样本对，学习更具判别力的影像表征。对于时间序列分析，数据集支持基于访视序列的治疗效果预测，可通过循环神经网络或Transformer架构建模疾病动态演变。数据已公开于Zenodo平台，提供标准化的文件夹结构与标签文件，便于研究者进行可重复的实验设计与跨领域探索。

背景与挑战

背景概述

OLIVES（Ophthalmic Labels for Investigating Visual Eye Semantics）数据集于2022年由佐治亚理工学院信号与信息处理中心与德克萨斯视网膜顾问团队联合构建，并在NeurIPS 2022的数据集与基准赛道中正式发布。该数据集旨在解决眼科医学影像分析中多模态数据融合与时间序列建模的核心研究问题，通过整合光学相干断层扫描（OCT）、近红外眼底图像、临床标签、生物标志物标注及治疗时间序列信息，为糖尿病视网膜病变（DR）与糖尿病性黄斑水肿（DME）的诊断与治疗监测提供全面数据支持。其创新性在于首次将跨模态关联与纵向治疗数据纳入统一框架，推动了眼科人工智能从单一图像分类向临床决策支持系统的范式转变，对医学影像分析、多模态学习及时间序列预测等领域产生了深远影响。

当前挑战

OLIVES数据集面临的挑战主要体现在两大维度：其一，在领域问题层面，该数据集致力于解决眼科疾病多模态诊断与治疗预测的复杂性，具体包括跨模态数据（如OCT体积、眼底图像、临床指标与生物标志物）的异构融合、微小病理特征的精细识别，以及治疗响应中时间动态模式的建模。其二，在构建过程中，挑战源于数据采集与标注的多元性：不同模态数据（如仪器客观测量的OCT、主观视觉测试的BCVA、专家判读的生物标志物）存在显著域差异；疾病表现因患者而异，同一患者不同访视间变化可能细微，而相同诊断在不同个体间形态差异显著；此外，生物标志物标注依赖资深眼科医师的回顾性判读，成本高昂且需应对标注一致性与稀疏性问题。这些挑战共同构成了数据集在医学可信性与机器学习泛化性方面的核心难点。

常用场景

经典使用场景

在眼科医学影像分析领域，OLIVES数据集为多模态机器学习研究提供了典范场景。该数据集整合了光学相干断层扫描（OCT）三维体积数据、近红外眼底图像、临床标签（如BCVA和CST）以及16种生物标志物标注，构建了一个覆盖诊断、治疗与监测全流程的标准化实验平台。研究者可基于其丰富的模态关联性，探索跨模态特征融合、生物标志物自动检测及治疗响应预测等核心任务，为眼科疾病（如糖尿病视网膜病变与糖尿病性黄斑水肿）的智能辅助诊断提供了数据基础。

实际应用

在实际临床应用中，OLIVES数据集为开发眼科疾病智能诊疗系统提供了关键数据支撑。基于该数据集训练的模型可辅助医生进行糖尿病视网膜病变与黄斑水肿的早期筛查与分级，通过自动解析OCT影像中的生物标志物（如视网膜内液体积聚）实现精准病情评估。此外，其时间序列数据支持构建治疗响应预测模型，帮助临床医生优化注射治疗方案，实现个性化治疗规划，从而提升诊疗效率与患者预后。

衍生相关工作

围绕OLIVES数据集，已衍生出一系列聚焦眼科多模态学习的经典研究工作。例如，基于临床标签引导的监督对比学习框架，通过利用BCVA、CST等标签构建正负样本对，显著提升了生物标志物检测的鲁棒性；跨模态融合方法探索了OCT与生物标志物特征的联合优化，实现了糖尿病眼病分类性能的突破；时间序列分析研究则利用其治疗周期数据，开发了基于OCT体积的周度治疗效应预测模型，为动态治疗监测提供了新思路。