RefPath

RefPath数据集是由华中科技大学软件工程学校和同济医学院附属协和医院病理科共同创建的大型数据集。该数据集包含27,610张分别在20倍和40倍放大倍数下的病理图像，以及33,500个与语言相关的定位框。这些图像和定位框旨在帮助模型理解病理图像中的不同区域，这些区域基于具有不同属性的表达式进行检测。数据集中的图像和定位框由病理专家进行标注，保证了数据的高质量。该数据集的应用领域是病理视觉定位，目的是为了提高病理图像分析中的区域检测能力。

The RefPath dataset is a large-scale dataset jointly created by the School of Software Engineering of Huazhong University of Science and Technology and the Department of Pathology of Union Hospital Affiliated to Tongji Medical College. It contains 27,610 pathological images at 20× and 40× magnification respectively, as well as 33,500 language-related bounding boxes. These images and bounding boxes are designed to help models understand different regions in pathological images, where such regions are detected based on expressions with varying attributes. All images and bounding boxes in the dataset are annotated by professional pathologists, ensuring the high quality of the dataset. The target application field of this dataset is pathological visual localization, aiming to improve the regional detection capability in pathological image analysis.

搜集汇总

数据集介绍

构建方式

RefPath数据集的构建采用了三步数据处理和生成协议。首先，通过收集临床全切片图像并在不同倍数下裁剪，以捕捉不同放大倍数下的病理特征。其次，病理专家提供了详细的病理表达注释，用于训练模型以生成准确的病理表达。最后，通过专家验证，确保数据集的质量和准确性。

特点

RefPath数据集的特点在于包含多尺度病理图像和包含病理知识的表达。多尺度图像能够展现同一区域在不同放大倍数下的不同病理特征，而病理知识的表达则从多个病理视角定位特定区域，为精确的区域检测提供了基础。

使用方法

使用RefPath数据集时，用户需要首先加载数据集，然后根据任务需求选择合适的训练和测试集。通过数据集提供的图像和对应的病理表达注释，可以训练视觉 grounding模型，以便在病理图像中定位特定的区域。

背景与挑战

背景概述

RefPath数据集是由华中科技大学软件工程学校和同济医学院联合医院病理科共同创建的，旨在为病理视觉定位任务提供一个新的基准和数据集。该数据集包含了27,610张图像和33,500个语言标注框，其独特之处在于包含了多尺度的病理图像以及融合了病理知识的表达式。RefPath数据集的创建背景是当前计算病理学任务在图像分类和视觉问题回答方面存在局限性，需要一种新的方法来根据不同的属性描述检测特定区域。

当前挑战

RefPath数据集在构建过程中遇到的挑战主要包括：(1)多尺度病理图像的处理：同一区域在不同放大倍数的图像中展示不同的病理特征，这要求模型能够适应不同尺度的变化。 (2)融合病理知识的表达式：RefPath数据集中的表达式包含了丰富的病理学知识，这要求模型不仅要理解图像内容，还要理解病理学领域的专业术语。针对这些挑战，研究团队提出了Pathology Knowledge-enhanced Network (PKNet)作为基准模型，利用大型语言模型的知识增强能力来转换隐含的病理学表达式为显式的视觉特征，并通过知识融合模块来融合知识特征和表达式特征。

常用场景

经典使用场景

RefPath数据集的经典使用场景在于病理视觉接地任务，即根据细粒度的文本描述精确定位病理图像中的特定区域。这一任务对于病理图像的分析和理解至关重要，有助于提高病变检测和诊断的准确性。

实际应用

在实际应用中，RefPath数据集可以用于训练和评估病理视觉接地模型，这些模型能够辅助病理学家在临床诊断中更准确地识别和解释病变区域，提高诊断效率和准确性。

衍生相关工作

基于RefPath数据集，研究者们已经衍生出了一系列相关工作，如Pathology Knowledge-enhanced Network (PKNet)模型，该模型利用大型语言模型的知识增强能力，将隐含的病理学术语转换为显式的视觉特征，进一步推动了病理视觉接地任务的研究进展。