PET2Rep

PET2Rep是首个用于评估视觉语言模型在PET放射学报告生成中的基准数据集。它包含全身PET/CT图像-报告对，覆盖数十个器官的代谢信息，这对于反映PET成像在肿瘤诊断中的真实临床全面性至关重要。PET2Rep is the first benchmark dataset for evaluating vision-language models in the task of PET radiology report generation. It contains whole-body PET/CT image-report pairs, covering metabolic information of dozens of organs, which is critical for reflecting the real-world clinical comprehensiveness of PET imaging in tumor diagnosis.

原始信息汇总

PET2Rep 数据集概述

数据集简介

PET2Rep是首个用于评估视觉语言模型（VLMs）在正电子发射断层扫描（PET）放射学报告生成中的基准数据集。该数据集包含全身PET/CT图像-报告对，覆盖数十个器官的代谢信息，对于反映PET成像在肿瘤诊断中的真实临床全面性至关重要。

数据内容

• 数据类型：全身PET/CT图像-报告对
• 覆盖范围：数十个器官的代谢信息
• 应用领域：肿瘤诊断中的PET成像

数据集特点

• 首个专注于PET放射学报告生成的基准数据集
• 包含反映真实临床全面性的图像-报告对
• 专注于视觉语言模型在医疗报告生成中的评估

相关资源

• 论文地址：https://arxiv.org/abs/2508.04062
• 代码仓库：https://github.com/YichiZhang98/PET2Rep

引用信息

bibtex @article{zhang2025pet2rep, title={PET2Rep: Towards Vision-Language Model-Drived Automated Radiology Report Generation for Positron Emission Tomography}, author={Zhang, Yichi and Zhang, Wenbo and Ling, Zehui and Feng, Gang and Peng, Sisi and Chen, Deshu and Liu, Yuchen and Zhang, Hongwei and Wang, Shuqi and Li, Lanlan and others}, journal={arXiv preprint arXiv:2508.04062}, year={2025} }

搜集汇总

数据集介绍

构建方式

作为核医学影像分析领域的重要资源，PET2Rep数据集的构建采用了严谨的多中心协作模式。研究团队收集了全身PET/CT图像与对应诊断报告的配对数据，覆盖数十个器官的代谢信息。这些数据经过专业核医医师的严格标注与校验，确保每个图像-报告对都能准确反映肿瘤诊断中PET成像的临床全面性。数据集构建过程特别注重保持医学影像的原始分辨率和诊断报告的结构化特征，为视觉-语言模型提供了高质量的训练基础。

特点

该数据集最显著的特点在于其开创性地建立了PET放射学报告生成的评估基准。数据集包含的全身PET/CT图像不仅具备多平面重建能力，还完整保留了代谢信息的空间分布特征。诊断报告采用严格的结构化格式，详细记录了异常FDG摄取病灶的位置、大小和程度等关键临床指标。特别值得关注的是，数据集同时提供了中英文双版本报告模板，确保了其在全球范围内的适用性和可推广性。

使用方法

研究人员可通过克隆项目仓库并配置指定环境快速开始使用该数据集。数据集支持多种视觉-语言模型的推理测试，用户只需按照提供的提示模板准备输入数据即可生成结构化诊断报告。典型使用流程包括加载预处理后的PET/CT切片图像，结合预设的提示词模板，通过模型推理获得详细的核医学报告输出。所有生成结果均以标准化JSON格式保存，便于后续的定量评估和比较分析。

背景与挑战

背景概述

PET2Rep数据集由Yichi Zhang等研究人员于2025年创建，标志着正电子发射断层扫描（PET）影像报告生成领域的重要突破。该数据集作为首个专门评估视觉语言模型在PET放射学报告生成性能的基准，涵盖全身PET/CT图像与诊断报告的配对数据，涉及数十个器官的代谢信息。其诞生响应了人工智能在核医学诊断中日益增长的应用需求，旨在通过提供高质量的多模态数据，推动自动化放射报告生成技术的发展，对提升肿瘤诊断的准确性和效率具有深远影响。

当前挑战

PET2Rep数据集致力于解决PET影像自动化报告生成中的核心挑战，包括对多器官代谢异常的精确识别与描述，以及结构化报告的语言生成一致性。在构建过程中，面临临床数据获取与匿名化的复杂性，需确保患者隐私保护的同时维持数据的临床实用性；同时，PET与CT图像的多模态对齐及标注需要高度专业化的医学知识，涉及放射科医师的精细注释与跨模态信息融合，这些因素共同构成了数据集构建的技术与伦理门槛。

常用场景

经典使用场景

在核医学影像分析领域，PET2Rep数据集作为首个专注于正电子发射断层扫描的视觉-语言模型基准，其经典应用场景主要体现在自动化放射学报告生成任务中。该数据集通过提供全身PET/CT图像与结构化报告的配对样本，使研究人员能够训练模型从多模态影像数据中识别代谢异常模式，并生成符合临床规范的专业诊断报告。这种应用不仅涵盖了肿瘤学诊断中数十个器官的代谢信息分析，还体现了真实临床环境中所需的全面性评估能力。

衍生相关工作

基于PET2Rep数据集衍生的经典研究工作主要集中在多模态医学大模型的架构创新与优化。例如采用视觉编码器-语言解码器框架的模型实现了端到端的报告生成，部分研究引入注意力机制增强模型对关键病灶区域的聚焦能力。这些工作不仅推动了Qwen2.5-VL等通用视觉-语言模型在医学领域的适配优化，还催生了专门针对PET影像特点设计的网络架构，包括代谢特征提取模块和医学语义约束机制，为后续三维医学影像分析提供了重要技术积累。

数据集最近研究

最新研究方向

在分子影像学与人工智能交叉领域，PET2Rep数据集正推动正电子发射断层扫描（PET）报告生成研究迈向新高度。该数据集作为首个专注于全身PET/CT影像-报告对的基准，填补了核医学多模态人工智能研究的空白。当前研究聚焦于视觉-语言模型在代谢异常量化描述、多器官病变关联分析等方面的应用，与精准医疗和智能诊断热点紧密相连。通过提供覆盖数十个器官的代谢信息数据，该数据集显著提升了模型在肿瘤诊断中的临床实用性，为自动化放射报告生成系统提供了重要支撑，对降低医疗误诊率和提升诊断效率具有深远意义。