REFLACX

REFLACX数据集是由科学计算与成像研究所创建的，包含3032组同步的眼动追踪数据和时间戳报告转录，用于胸部X光异常定位。数据集内容包括2616张来自MIMIC-CXR数据集的胸部X光片，以及辅助注释，如肺部和心脏的边界框，以及定位异常的椭圆和图像级标签。创建过程中，五名专业胸腔放射科医生使用定制用户界面进行报告口述，同时收集眼动数据。该数据集旨在解决深度学习模型在胸部X光异常检测中的数据需求问题，通过提供额外的监督信息来提高模型的准确性和定位能力。

The REFLACX dataset was developed by the Institute for Scientific Computing and Imaging. It contains 3032 sets of synchronized eye-tracking data and timestamped report transcriptions for chest X-ray abnormality localization. The dataset includes 2616 chest X-ray images sourced from the MIMIC-CXR dataset, alongside auxiliary annotations such as bounding boxes for the lungs and heart, ellipses for locating abnormalities, and image-level labels. During its creation, five board-certified thoracic radiologists dictated radiology reports using a custom user interface, while their eye-tracking data was collected simultaneously. This dataset aims to address the data demand issue of deep learning models in chest X-ray abnormality detection, providing additional supervisory information to improve the models’ accuracy and localization performance.

搜集汇总

数据集介绍

构建方式

在医学影像分析领域，深度学习模型常受限于标注数据的稀缺性。REFLACX数据集的构建采用了一种创新的可扩展方法，通过模拟放射科医师阅片环境，同步采集眼动追踪数据与口述报告。具体流程涉及五位经过认证的胸科放射科医师，使用定制化界面阅读来自MIMIC-CXR数据集的2,616张胸部X光片。在阅片过程中，通过Eyelink 1000Plus系统以1000Hz频率记录医师的凝视位置与瞳孔面积，同时使用麦克风录制口述报告。音频报告经IBM Watson语音转文本服务自动转录并人工校正，生成带时间戳的文本。数据收集分为三个阶段，前两个阶段用于调整参数与评估评分者间一致性，第三阶段构成数据集主体。此外，医师还手动标注了异常区域椭圆、胸部边界框及图像级标签，作为验证基准。

特点

REFLACX数据集的核心特点在于其多模态数据的同步性与丰富性。数据集包含3,032例眼动追踪数据与时间戳报告转录，覆盖2,616张独特胸部X光片，提供了凝视定位、报告内容与异常位置的紧密关联。眼动数据以注视点与原始采样两种形式呈现，空间误差低于0.44度，时间精度达毫秒级。报告转录经过人工校正，并与眼动数据通过时间戳对齐，支持细粒度的时间序列分析。辅助标注包括异常定位椭圆（附带置信度评分）、胸部边界框及图像级标签，增强了数据的监督信息。部分数据包含多位放射科医师的交叉阅读，支持评分者间一致性研究。数据集结构清晰，提供详细的元数据表与坐标转换信息，便于不同分析任务的直接应用。

使用方法

REFLACX数据集适用于多种医学影像分析任务，尤其关注基于注意力的异常定位与跨模态学习。使用前需独立获取MIMIC-CXR原始图像数据。主要应用包括将注视点合成为热力图，作为注意力标签用于显著性建模研究；利用时间戳转录与眼动数据的同步关系，实现针对特定异常的细粒度定位分析；结合瞳孔面积数据探索不同注视点的认知负荷差异。验证方面，可通过图像级标签检验从转录中解析出的异常信息，并利用异常椭圆验证眼动数据提取的定位结果。胸部边界框可用于归一化肺部位置，或训练模型预测未见数据的解剖结构。数据集中提供的置信度标签支持不确定性量化研究，而报告转录可用于胸部X光片的图像描述生成。代码库中提供了热力图生成、位置归一化及数据加载的示例，辅助研究人员快速开展实验。

背景与挑战

背景概述

REFLACX数据集由犹他大学的研究团队于2022年构建，旨在通过整合眼动追踪数据与放射科医师的口述报告，为胸部X光影像中的异常定位提供新型监督信号。该数据集基于MIMIC-CXR的2,616张影像，收录了五名专业放射科医师在解读过程中产生的3,032组同步眼动数据与时间戳转录报告，并辅以异常定位椭圆、胸部边界框等标注。其核心研究在于探索如何利用非侵入式的行为数据采集方法，突破传统医学影像标注的规模瓶颈，为深度学习模型提供更丰富的弱监督信息，从而推动计算机辅助诊断系统在异常检测与定位任务上的性能提升。

当前挑战

REFLACX数据集致力于解决医学影像分析中异常定位的监督信号稀缺问题，其核心挑战在于如何从放射科医师的视觉注意模式与口述报告中提取可靠的空间标注信息。构建过程中的主要困难包括：眼动数据采集需在高精度设备校准与临床自然阅读环境之间取得平衡，确保数据质量的同时减少对医师工作的干扰；多模态数据的同步与对齐技术复杂，需精确匹配眼动轨迹、语音转录及影像操作的时间序列；此外，标注一致性受医师主观判断影响，不同放射科医师对同一异常的定位与描述存在差异，需通过统计方法评估并控制标注者间信度。

常用场景

经典使用场景

在医学影像分析领域，REFLACX数据集为研究视觉注意力机制与异常定位的关联提供了独特资源。该数据集最经典的应用场景在于训练和验证能够模拟放射科医师诊断过程的深度学习模型。通过同步记录的凝视轨迹与时间戳报告，研究者能够构建模型来理解放射科医师在解读胸部X光片时的视觉搜索模式与认知决策路径，进而提升计算机辅助诊断系统在异常检测与定位方面的性能。

衍生相关工作

REFLACX数据集启发了多个方向的相关研究。在方法论上，它促进了从眼动序列生成注意力热图、将时间戳报告与凝视点对齐以进行细粒度标签关联、以及利用多模态数据（视觉+语言）进行联合建模等技术的探索。在应用层面，基于该数据集的衍生工作包括开发用于胸部X光异常定位的视觉-语言Transformer模型、研究诊断不确定性量化方法、以及构建能够模拟放射科医师诊断顺序和认知过程的序列预测模型。这些工作共同推动了人机协同诊断系统向更自然、更高效的方向发展。

数据集最近研究

最新研究方向

在医学影像分析领域，REFLACX数据集通过整合眼动追踪与放射科医师口述报告，为胸部X光异常定位研究开辟了创新路径。当前前沿探索聚焦于利用时序同步的眼动注视点与文本转录数据，开发多模态深度学习模型，旨在实现异常区域的细粒度定位。研究热点包括通过注视点热力图与报告时间戳的关联分析，揭示医师认知决策的时空模式，进而增强模型的可解释性。这一方向不仅推动了弱监督定位技术的发展，也为构建更符合临床工作流的智能辅助诊断系统提供了关键数据支撑，对提升医学影像分析的精准性与效率具有深远意义。

相关研究论文

• REFLACX, a dataset of reports and eye-tracking data for localization of abnormalities in chest x-rays

  科学计算与成像研究所 · 2022年