Awesome-AI-LLMs-in-Radiology

这是一个精心整理的资源合集，专注于放射学中的人工智能和大语言模型领域。它收集了相关的数据集、论文、工具和其他资源，旨在为AI驱动的放射学研究、学习和开发提供全面的材料集合，覆盖领域包括放射学报告生成、医学影像视觉语言模型、多模态学习等。This is a carefully curated collection of resources focused on artificial intelligence (AI) and large language models (LLMs) in the field of radiology. It compiles relevant datasets, academic papers, tools and other resources, aiming to provide a comprehensive material repository for AI-driven radiology research, learning and development, covering areas including radiology report generation, medical image vision-language models, multimodal learning and more.

原始信息汇总

数据集详情总结：Awesome-AI/LLMs-in-Radiology

该仓库是一个精选的资源列表，汇集了与人工智能在放射学中的应用相关的论文、数据集和工具，旨在促进AI驱动放射学领域的研究、学习与开发。

主要内容分类

仓库内容按类别组织，每个类别下收录了近年来的相关学术论文，主要涵盖以下领域：

• 放射学报告生成与摘要（Radiology Report Generation and Summarization）：收录2020年至2024年的论文，涉及3D医学图像报告生成、报告摘要、知识图谱辅助生成等。
• 医学影像视觉-语言模型（Vision-Language Models for Medical Imaging）：收录2021年至2024年的论文，涵盖胸部X光报告生成、医学图像理解、多模态预训练等。
• 放射学中的大语言模型（Large Language Models in Radiology）：收录2023年至2024年的论文，包括GPT-4评估、放射学专用LLM、结构化数据提取等。
• 医学图像分析的多模态学习（Multimodal Learning for Medical Image Analysis）：收录2020年至2024年的论文，涉及CLIP增强、多模态对比学习等。
• 放射学AI的评估指标与基准（Evaluation Metrics and Benchmarking for AI in Radiology）：收录2023年至2024年的论文，包括报告评估指标、错误标注等。
• 医学图像合成与增强（Medical Image Synthesis and Augmentation）：收录2024年的论文，涉及数字重建放射影像等。

资源特点

• 持续更新：仓库标记为“Awesome”，欢迎贡献（PRs Welcome），并采用MIT开源许可证。
• 社区支持：提供社区加入链接。
• 结构清晰：按年度和子主题分类整理论文，方便检索。

重要说明

该仓库是一个资源索引列表，不直接提供数据集或模型文件，而是汇总相关学术论文的链接。所有论文链接指向arXiv预印本平台。

搜集汇总

数据集介绍

构建方式

在人工智能与医学影像交叉融合的浪潮中，放射学领域正经历着由大语言模型（LLMs）和视觉-语言模型驱动的深刻变革。Awesome-AI/LLMs-in-Radiology数据集应运而生，它是一个精心整理的知识资源库，汇集了与放射学中人工智能相关的优秀资源、论文、数据集和工具。该数据集的构建方式体现了高度的系统性与专业性，通过人工筛选与社区协作，从海量学术文献中提炼出涵盖放射学报告生成与总结、医学影像视觉-语言模型、大语言模型应用、多模态学习、评估基准、图像合成、特定任务AI及临床决策支持等多个核心类别的论文，并持续更新至2024年。

特点

该数据集的核心特点在于其全面性与前沿性，如同一幅放射学AI领域的全景图谱。它不仅收录了顶尖期刊与会议中的最新研究成果，还巧妙地将资源按主题分类，例如将放射学报告生成、视觉-语言预训练、以及大语言模型在影像解读中的应用等方向独立成章，便于研究者快速定位。尤为突出的是，数据集囊括了从经典方法到如GPT-4V、CheXagent等前沿模型的探索，并提供了社区链接与贡献指南，营造了一个开放、协作的知识生态系统，为跨学科研究提供了不可多得的导航工具。

使用方法

使用该数据集时，研究者可以依据其清晰的分类架构，按图索骥地探索特定子领域。例如，若关注放射学报告自动生成，可直接访问‘Radiology Report Generation and Summarization’类别，从中获取2020年至2024年间的高影响力论文，并追踪如MAIRA系列、R2GenGPT等方法的技术演进。数据集还支持通过论文标题、作者及年份进行检索，便于构建文献综述或复现实验。此外，通过参与社区讨论或提交Pull Request，使用者能动态补充新资源，使该数据集成为放射学AI研究中一个活态、可生长的知识源泉。

背景与挑战

背景概述

随着人工智能与医学影像领域的深度融合，放射学正迎来一场由大语言模型和多模态技术驱动的变革。2023年至2024年间，由OpenLifeScience等研究机构主导的Awesome-AI/LLMs-in-Radiology项目应运而生，系统梳理了放射学中AI与大语言模型的前沿进展。该资源库聚焦于放射学报告生成与摘要、视觉-语言模型、多模态学习及评估基准等核心方向，旨在为研究者提供全面的文献与工具集合。其核心研究问题在于如何利用大规模预训练模型提升放射学影像的自动化解读能力，从而辅助临床诊断。该数据集已成为推动该领域知识整合与技术创新的重要平台，对促进放射学AI研究的可重复性与协作具有显著影响力。

当前挑战

该领域面临的挑战首先体现在解决临床诊断的复杂性与高可靠性需求上。放射学报告生成需精准捕捉影像中的细微病理特征，并避免模型产生幻觉或遗漏关键发现，这对模型的语义理解与事实一致性提出了严苛要求。在构建过程中，研究者需应对多模态数据（如影像与文本）的对齐难题、标注数据的稀缺性以及不同机构间数据分布的异质性。此外，现有评估指标难以全面反映临床实用性，且大语言模型在特定放射学任务中的泛化能力仍有待提升。这些挑战共同制约着AI系统从研究向真实临床工作流的转化。

常用场景

经典使用场景

在放射学领域，人工智能与大型语言模型的融合正推动着医学影像分析的范式变革。该数据集最经典的使用场景聚焦于放射学报告的自动生成与摘要，研究者可借助其中收录的跨模态模型（如MAIRA系列、R2GenGPT）和视觉-语言预训练方法，将胸部X光片、CT等影像数据直接转化为结构化、语义精准的临床文本描述。这一过程不仅大幅减轻了放射科医师的文书负担，还通过引入知识图谱与场景图等技术，提升了报告的逻辑连贯性与临床可读性。

解决学术问题

该数据集系统性回应了放射学AI研究中若干关键学术挑战。其一，它解决了医学影像与自然语言间语义鸿沟的跨模态对齐问题，通过CLIP、CheXagent等模型实现了视觉特征与诊断术语的深度耦合。其二，它针对报告生成中的幻觉现象，提出直接偏好优化等抑制策略，显著提升了生成内容的可信度。其三，它构建了如FineRadScore、GREEN等细粒度评估框架，为AI生成报告的临床质量提供了量化基准，从而推动了该领域从算法创新到验证标准化的完整闭环。

衍生相关工作

围绕该数据集，衍生了一系列具有里程碑意义的学术工作。在模型架构层面，R2GenGPT开创性地将冻结的大语言模型与视觉编码器结合，验证了参数高效微调在医学报告生成中的可行性。在评估方法上，LLM-RadJudge利用大模型模拟放射科医师的评分逻辑，实现了自动化的专家级评估。此外，RoentGen等生成式模型探索了合成影像在数据增强中的应用，而CohortGPT则展示了LLM在临床受试者筛选中的潜力，这些工作共同拓展了AI放射学的技术边界与应用纵深。