GazeSearch

GazeSearch是由阿肯色大学、休斯顿大学、越南胡志明市科学大学和MD安德森癌症中心联合创建的放射学发现搜索数据集。该数据集包含2081张图像，旨在通过眼动追踪数据帮助理解放射科医生如何解读医学图像，特别是胸部X光片中的特定发现。数据集的创建过程包括对现有眼动追踪数据的精炼和转换，确保每个注视序列都与特定发现任务对齐。GazeSearch的应用领域主要集中在提高AI系统在医学影像分析中的透明度和可靠性，特别是在胸部X光片的诊断中。

GazeSearch is a radiological discovery search dataset co-created by the University of Arkansas, the University of Houston, Ho Chi Minh City University of Science in Vietnam, and the University of Texas MD Anderson Cancer Center. Comprising 2,081 images, this dataset aims to help understand how radiologists interpret medical images—particularly specific findings in chest X-rays—via eye-tracking data. The dataset was developed by refining and converting existing eye-tracking data, ensuring that each fixation sequence is aligned with a specific discovery task. The primary application scenarios of GazeSearch focus on enhancing the transparency and reliability of AI systems in medical image analysis, especially in chest X-ray diagnosis.

搜集汇总

数据集介绍

构建方式

GazeSearch数据集的构建方式独具匠心，通过借鉴目标存在的视觉搜索挑战，将现有的眼动追踪数据集进行精炼。具体而言，该数据集通过特定的发现和注视定位，将自由观看的眼动数据转化为有目的的视觉搜索数据。这一过程包括对现有眼动数据集的筛选和处理，确保每个注视序列都与特定的放射学发现对齐。此外，通过基于半径的过滤启发式方法，减少了注视长度，同时保持了注视方向的清晰和可管理性。最终，GazeSearch数据集不仅包含了注视序列，还确保了注视在特定发现位置的持续时间最大化，从而为放射学发现提供了有针对性的视觉搜索数据。

特点

GazeSearch数据集的显著特点在于其高度针对性和目的性。首先，该数据集是首个针对胸部X光片的目标存在视觉搜索数据集，使得深度学习模型能够更好地模拟放射科医生的视觉搜索行为。其次，数据集中的每个注视序列都经过精心设计，确保与特定放射学发现的高度对齐，从而提高了数据的可解释性和实用性。此外，GazeSearch数据集还通过严格的筛选和处理，确保了注视序列的质量和一致性，为后续的算法开发和评估提供了坚实的基础。

使用方法

GazeSearch数据集的使用方法多样且灵活，适用于多种放射学研究和应用场景。首先，研究人员可以利用该数据集训练和验证视觉搜索算法，以模拟放射科医生的注视行为，从而提高诊断的准确性和透明度。其次，数据集可以用于开发和评估新的注视预测模型，特别是那些基于Transformer架构的模型，如ChestSearch。此外，GazeSearch数据集还可以用于研究注视行为与放射学发现之间的关系，探索注视模式在诊断中的作用。最后，该数据集还可作为基准数据集，用于评估现有视觉搜索方法在医学影像领域的性能，推动该领域的技术进步。

背景与挑战

背景概述

GazeSearch数据集由阿肯色大学、休斯顿大学和MD安德森癌症中心的研究人员共同创建，旨在解决医学眼动追踪数据分散、未处理和模糊的问题。该数据集通过精炼现有的眼动追踪数据，将其转化为一个专门用于放射学发现的视觉搜索数据集。GazeSearch的创建时间可追溯至2024年，其核心研究问题是如何通过眼动追踪数据提高深度学习模型在X光分析中的准确性和可解释性。该数据集对医学影像领域的影响力在于，它不仅提升了AI系统的诊断能力，还增强了决策过程的透明度。

当前挑战

GazeSearch数据集面临的挑战主要有两方面。首先，现有的眼动追踪数据集以自由观看格式收集，导致注视点分布在整个X光图像上，难以明确哪些注视点与特定发现相关，这种模糊性使得数据难以用于精确的扫描路径预测。其次，大多数现有的扫描路径预测模型设计用于通用应用，缺乏放射学领域所需的特定专业知识，无法有效应对放射学中发现的视觉搜索挑战。为解决这些挑战，GazeSearch数据集通过引入一种基于半径的过滤启发式方法，减少了注视长度，确保注视方向的清晰和可管理性，同时最大化注视在给定发现位置的持续时间。

常用场景

经典使用场景

GazeSearch数据集在放射学领域中被广泛用于研究放射科医生如何通过视觉解读医学影像。该数据集通过收集和处理眼动追踪数据，将放射科医生的注视序列与特定的放射学发现（如肺不张和肺炎）对齐，从而为深度学习模型提供了宝贵的训练资源。这些模型不仅能够提高X光分析的准确性，还能增强其可解释性，使决策过程更加透明。

衍生相关工作

GazeSearch数据集的发布催生了一系列相关研究工作，特别是在医学影像分析和AI可解释性领域。例如，ChestSearch模型的提出，利用了GazeSearch数据集中的注视序列，通过Transformer架构实现了对放射科医生视觉搜索路径的预测。此外，该数据集还激发了对眼动追踪数据在医学诊断中应用的深入研究，推动了眼动追踪技术与AI技术的融合，为未来的医疗AI系统提供了新的研究方向。

数据集最近研究

最新研究方向

在医学影像分析领域，GazeSearch数据集的最新研究方向主要集中在通过眼动追踪数据来增强放射科医生对医学图像的视觉解释能力。这一研究不仅提升了深度学习模型在X光分析中的准确性，还增强了其可解释性，从而提高了决策过程的透明度。当前的研究重点在于创建一个具有明确目的性的眼动追踪数据集，以解决现有数据分散、未处理和模糊的问题。通过引入GazeSearch数据集，研究人员能够更精确地模拟放射科医生在特定发现上的视觉搜索行为，从而推动了医学影像分析中视觉搜索任务的发展。此外，基于GazeSearch数据集的ChestSearch模型展示了在预测放射科医生扫描路径方面的显著进展，为医学影像分析领域提供了新的基准和方法。

相关研究论文

• GazeSearch: Radiology Findings Search Benchmark

  阿肯色大学, 休斯顿大学, 越南胡志明市科学大学, MD安德森癌症中心 · 2024年