Labeled Ophthalmic Ultrasound Dataset

本数据集名为“Labeled Ophthalmic Ultrasound Dataset”，由华北理工大学电气与控制工程学院等机构创建，包含4858张眼科超声图像及其对应的中文报告。数据集收集了2018年沈阳一家眼科医院2417名患者的超声图像、血流信息和检查报告，为保护隐私，患者信息已去标识化。数据集内容包括15种常见眼内疾病的典型影像发现及其解剖位置描述，每张图像展示了三个特定动脉的三种血流指数，共九个参数值。数据集的创建旨在通过融合计算机视觉和自然语言处理技术，开发医疗AI学习算法，特别适用于跨模态医学数据的学习和报告生成，以辅助眼科疾病的诊断和治疗决策。This dataset, named "Labeled Ophthalmic Ultrasound Dataset", was developed by institutions including the School of Electrical and Control Engineering, North China University of Science and Technology, and other relevant entities. It contains 4,858 ophthalmic ultrasound images and their corresponding Chinese medical reports. The dataset collects ultrasound images, blood flow data, and examination reports from 2,417 patients at an ophthalmic hospital in Shenyang in 2018, with all patient information de-identified to protect privacy. The dataset includes typical imaging findings and anatomical location descriptions for 15 common intraocular diseases. Each image presents three blood flow indices for three specific arteries, resulting in a total of nine parameter values. The dataset was constructed to enable the development of medical AI learning algorithms by integrating computer vision and natural language processing (NLP) technologies, and is specifically designed for cross-modal medical data learning and report generation to support the diagnosis and treatment decision-making of ophthalmic diseases.

搜集汇总

数据集介绍

构建方式

Labeled Ophthalmic Ultrasound Dataset 是一个包含超声图像、血流信息和检查报告的医学数据集。该数据集的构建始于从2018年中国沈阳的一家眼科医院收集的2417名患者的数据，其中患者的个人信息已被匿名化以保护隐私。数据集的建设涉及三个独立的数据提取过程：图像裁剪、报告提取和血流信息提取。图像裁剪旨在去除与眼球无关的区域，以减少深度学习识别和诊断的干扰。报告提取包括将超声描述和诊断文本部分整合，并删除与图像不相关的信息。血流信息提取涉及从超声检查中提取血流参数，包括眼动脉、中央视网膜动脉和后睫状动脉的舒张末期流速、阻力指数和收缩期峰值流速。最后，将这三个部分的数据汇总成数据集，并将其转换为JSON格式以便于检索。

特点

Labeled Ophthalmic Ultrasound Dataset 的特点在于它包含了三种模态的信息：超声图像、自由文本报告和血流参数。这是目前唯一一个同时包含这三种模态信息的眼科数据集。数据集中包含了4858张超声图像及其相应的中文报告，这些报告详细描述了15种典型的眼内疾病成像表现和解剖位置。每个图像都显示了三种血流指数在三个特定动脉中的表现，即九个参数值来描述血流分布的频谱特征。报告由眼科医生在临床护理过程中撰写。此外，该数据集还包含了一个基于跨模态深度学习模型的医学报告生成系统，实验结果表明该数据集适合用于训练涉及跨模态医学数据的监督模型。

使用方法

Labeled Ophthalmic Ultrasound Dataset 的使用方法包括但不限于训练监督模型，特别是涉及跨模态医学数据的模型。该数据集可用于开发医学报告生成系统，以减轻医生的工作负担。研究人员可以使用该数据集来训练深度学习模型，这些模型可以自动从超声图像生成医学报告。此外，该数据集还可以用于评估和改进医学报告生成算法的性能。

背景与挑战

背景概述

超声成像技术在揭示眼部形态、辅助诊断和治疗眼疾方面发挥着重要作用。然而，解读诊断报告需要专业的医生。本研究提出了一个标记化的眼科超声数据集，用于精确分析和自动探索医疗图像及其相关报告。该数据集收集了三种模态数据，包括超声图像、血流信息和来自中国沈阳一家眼科医院在2018年对2,417名患者的检查报告，其中患者信息已去标识化以保护隐私。据我们所知，这是唯一同时包含三种模态信息的眼科数据集。它由4,858张图像及其相应的自由文本报告组成，这些报告描述了15种典型的眼内疾病成像发现及其相应的解剖位置。每张图像显示了三条特定动脉的血流指标，即九个参数值来描述血流分布的频谱特征。报告由眼科医生在临床护理过程中撰写。所提出的数据集已应用于基于跨模态深度学习模型生成医疗报告。实验结果表明，我们的数据集适合训练涉及跨模态医疗数据的监督模型。

当前挑战

眼科超声图像和报告生成的研究目前主要集中在放射学图像上，尤其是胸部X射线图像。现有的医疗报告生成数据集已经发布了各种医学模态，如荧光素眼底血管造影（FFA）图像、肺部CT扫描和彩色眼底照片（CFP）。在眼科超声图像和报告生成方面缺乏研究。此外，大多数现有数据集都是英文的。在中文医疗报告生成领域存在显著的研究差距。因此，开发带有相应报告的标记化眼科超声图像数据集对于基于人工智能（AI）的眼科诊断是必要的。构建大型和特定的医疗数据集既耗时又费力。由于医学图像解读的复杂性，深度学习模型所达到的准确性尚未达到专业医生的水平。

常用场景

经典使用场景

Labeled Ophthalmic Ultrasound Dataset主要应用于医学影像分析和医疗报告自动生成。该数据集包含了来自2,417名患者的超声图像、血流信息和检查报告，共计4,858张图像和相应的自由文本报告。这些报告描述了15种典型的眼内疾病成像发现及其相应的解剖位置。每张图像显示了三个特定动脉的三个血流指标，即九个参数值来描述血流分布的光谱特征。这些报告由眼科医生在临床护理期间撰写。该数据集被应用于基于跨模态深度学习模型的医疗报告生成。实验结果表明，我们的数据集适用于训练涉及跨模态医疗数据的监督模型。

衍生相关工作

Labeled Ophthalmic Ultrasound Dataset衍生了跨模态医疗报告生成模型，如R2Gen和CMN模型。这些模型利用深度学习技术，通过提取视觉特征和文本特征，并使用注意力机制来对齐图像和文本信息，从而生成医疗报告。实验结果表明，这些模型在Labeled Ophthalmic Ultrasound Dataset上取得了良好的报告生成性能。

数据集最近研究

最新研究方向

在眼科学领域，超声成像技术已被证明是揭示眼形态和辅助诊断治疗眼疾的重要工具。然而，解读诊断报告通常需要专业的眼科医生。为了缓解眼科医生在分析和生成诊断报告方面的时间和精力压力，王婧等人提出了一个包含超声图像、血流信息和检查报告的标注眼科学数据集。该数据集收集了来自中国沈阳一家眼科医院2,417名患者的数据，包括4,858张图像和相应的自由文本报告，描述了15种典型眼内疾病的成像发现和解剖位置。该数据集的特点在于同时包含了三种模态信息，并基于跨模态深度学习模型生成了医疗报告。实验结果表明，该数据集适合用于训练涉及跨模态医疗数据的监督模型。该研究的前沿性体现在其对现有医学报告生成方法的补充，特别是针对眼超声图像和报告生成的缺乏。此外，该数据集的构建旨在推动医疗人工智能学习算法的发展，融合计算机视觉和自然语言处理，以实现更精确的诊断和治疗。

相关研究论文

• A Labeled Ophthalmic Ultrasound Dataset with Medical Report Generation Based on Cross-modal Deep Learning

  华北理工大学电气与控制工程学院，沈阳理工大学自动化与电气工程学院，中国医科大学第四附属医院眼科 · 2024年