OCASD (Otoscopic Classification And Summary Dataset)

OCASD数据集由孟买医院和印度理工学院孟买分校的团队创建，包含500张耳镜图像，分为5个独特类别。这些图像由耳鼻喉科专家标注并附有总结，旨在提高患者对耳部状况的理解。数据集的创建过程中，团队从现有开源数据集中筛选并去除了冗余信息，确保了数据的质量和多样性。该数据集主要用于支持耳镜图像的分类和总结任务，特别是在提高医疗AI应用的透明度和患者教育方面。The OCASD dataset was developed by a team from Mumbai Hospital and the Indian Institute of Technology Bombay, containing 500 otoscopic images categorized into 5 unique classes. These images were annotated by otolaryngologists and paired with corresponding summaries, with the objective of enhancing patients' comprehension of ear-related medical conditions. During the dataset creation process, the team filtered and removed redundant information from existing open-source datasets to ensure the quality and diversity of the data. This dataset is primarily utilized to support otoscopic image classification and summarization tasks, particularly in advancing the transparency of medical AI applications and patient education efforts.

搜集汇总

数据集介绍

构建方式

OCASD数据集的构建始于对现有耳镜图像数据集的筛选和补充。研究者从POLAT（2021）和Viscaino等人（2020）的数据集中筛选出500张图像，这些图像被分为五个类别：急性中耳炎、耵聍栓塞、慢性中耳炎、鼓膜硬化症和正常。为了确保数据集的质量，研究者剔除了冗余和噪声数据，并请耳鼻喉科医生对每个图像进行了详细的标注，包括类别和总结。这些总结以简单易懂的语言描述了图像中的特征，如红肿、感染点、鼓膜穿孔等，以便患者理解。

特点

OCASD数据集的主要特点在于其多模态性质，它不仅包含图像数据，还提供了由耳鼻喉科医生撰写的详细总结。这些总结旨在帮助患者更好地理解耳镜图像，减少医疗专业术语的使用，以提高患者的接受度。此外，OCASD是迄今为止最大的耳镜图像数据集，包含了500个实例，为耳镜图像的分类和总结任务提供了丰富的数据资源。

使用方法

OCASD数据集的使用方法包括两个主要阶段：分类和生成总结。首先，使用深度学习模型（如ResNeXt-18）对耳镜图像进行分类，结合三元组损失和交叉熵损失来提高分类准确性。然后，将图像信息转换为密集向量，并与文本嵌入相结合，输入到多模态BART模型中生成总结。这种结合图像和文本信息的方法有助于生成更加准确和易于理解的总结。此外，为了评估模型的性能，研究者使用了精确度、召回率和F1分数等指标，并通过人工评估来检验总结的病人友好性和准确性。

背景与挑战

背景概述

耳镜检查是一种通过耳镜观察耳道和鼓膜的医学诊断程序，用于识别感染、异物、鼓膜穿孔和耳部异常等疾病。为了解决耳镜图像分类和总结的难题，研究人员提出了一个名为Sumotosima的框架和数据集。Sumotosima是一个端到端的流程，首先进行分类，然后进行总结。该框架结合了三元组和交叉熵损失，并使用了知识增强的多模态BART模型，其输入是融合的文本和图像嵌入。该框架的目标是为患者提供清晰高效的耳镜图像总结。由于缺乏现有的数据集，研究人员创建了自己的OCASD数据集，其中包括500张图像，分为5个独特的类别，并由耳鼻喉科医生进行了注释和总结。Sumotosima在分类任务中取得了98.03%的结果，比K-最近邻、随机森林和支持向量机分别提高了7.00%、3.10%和3.01%。在总结任务中，Sumotosima在ROUGE评分方面比GPT-4o和LLaVA分别提高了88.53%和107.57%。

当前挑战

OCASD数据集面临的挑战包括：1)所解决的领域问题是耳镜图像的分类和总结，这对于提高患者对耳部疾病的理解至关重要；2)构建过程中所遇到的挑战包括缺乏现有的开放源代码耳镜图像数据集，以及缺乏带有注释总结的数据集。为了解决这些问题，研究人员创建了OCASD数据集，并手动筛选了冗余和噪音数据，以确保数据集的鲁棒性。此外，由于耳镜图像的复杂性，分类和总结任务仍然具有挑战性，需要进一步的研究和改进。

常用场景

经典使用场景

在耳科诊断中，OCASD数据集被广泛应用于耳部疾病的自动分类和总结。通过深度学习和Transformer模型，Sumotosima框架能够对耳道和鼓膜的图像进行高效的处理，提供清晰且易于理解的耳部健康状况概述。

衍生相关工作

OCASD数据集的创建推动了耳部疾病诊断领域的研究，衍生出一系列相关工作。这些工作包括但不限于：基于OCASD数据集的耳部疾病分类模型的优化，耳部图像自动总结模型的改进，以及耳部疾病诊断的智能化和自动化。

数据集最近研究

最新研究方向

随着人工智能技术在医疗领域的不断深入，耳镜图像的分类和总结成为了一个新兴的研究热点。OCASD数据集的提出，填补了现有耳镜图像数据集缺乏总结性标注的空白，为该领域的研究提供了宝贵资源。该数据集不仅包含图像数据，还附有由耳鼻喉科医生提供的详细总结，为耳镜图像的自动解释和生成提供了可能。Sumotosima框架利用深度学习和Transformer模型，实现了耳镜图像的高精度分类和总结生成，为患者提供了清晰、简洁的信息，增强了患者与医疗提供者之间的互动。这一研究不仅提高了医疗诊断的效率和准确性，还有助于提高患者的医疗体验和满意度，对推动人工智能在医疗领域的应用具有重要意义。

相关研究论文

• Sumotosima: A Framework and Dataset for Classifying and Summarizing Otoscopic Images

  孟买医院，耳鼻喉科部门，印度理工学院孟买分校，计算机科学与工程系 · 2024年