awesome-medical-imaging-agents

这是一个关于医学影像智能体的Awesome列表，收集了与医学影像分析相关的数据集、基准测试、研究论文和开源系统资源，涵盖放射学、病理学、超声、CT、MRI、胸部X光等多种影像模态，并聚焦于工具使用、检索增强生成、多智能体协作、分割、报告生成和临床评估等领域。This is an Awesome list focused on medical imaging AI agents. It compiles datasets, benchmarks, research papers, and open-source system resources related to medical image analysis, covering various imaging modalities including radiology, pathology, ultrasound, CT, MRI, chest X-ray, and more. It centers on domains such as tool use, retrieval-augmented generation, multi-agent collaboration, segmentation, report generation, and clinical evaluation.

原始信息汇总

医学影像智能体资源汇总

该页面是一个精选资源库，专注于医学影像分析领域的智能体AI系统，涵盖放射学、病理学、超声、内窥镜与手术影像、眼科、分割、报告生成及医学视觉-语言模型智能体等多个方向。

核心范畴

• 影像模态：放射学、病理学、超声、CT、MRI、胸部X光、皮肤科、内窥镜、PET、眼科及心脏影像
• 智能体工作流：工具使用、检索增强生成、多智能体协作、自我反思、规划、报告生成、质量控制、人在回路审核
• 研究资源：同行评审论文、arXiv预印本、基准测试、数据集、可复现代码及相关开源系统
• 安全与评估：幻觉检测、公平性、鲁棒性、不确定性、弃权机制、隐私保护及临床验证评估

分类体系

页面提供了视觉化的分类体系图（SVG格式），涵盖所有医学影像智能体子领域。

主要研究方向及代表工作

放射学智能体

涉及胸部X光、CT、MRI、DICOM工作流、放疗规划及放射学决策支持。代表性工作包括：

• 多智能体系统：如MARCH（CT报告生成）、CXRAgent、RadAgents等模拟放射科医生工作流的协作系统
• 工具调用型智能体：如RadAgent、GAZE等，通过显式工具调用生成可追溯的推理过程
• 不确定性感知：如AT-CXR、PASS等，具备不确定性校准、弃权机制
• 报告生成与质量控制：如Radiologist Copilot等，集成质量控制环节的自动化报告系统

放射学综述

提供对放射学智能体设计模式、评估协议和开放挑战的系统梳理。重要综述包括：

• Agentic Systems in Radiology：作为最佳入门综述，覆盖全放射学流程的智能体设计模式与评估方案

病理学智能体

专注于全切片图像分析、数字病理学、病理报告生成及切片导航。代表性工作包括：

• 全切片图像导航：如PathNavigate、MMNavAgent等，实现多倍率下的智能切片探索
• 报告生成：如QCAgent、Exploring General-Purpose Autonomous Multimodal Agents等，实现可质控的病理报告自动生成
• 多智能体协作：如WSI-Agents、PathFinder等，通过专业智能体分工完成切片分析、报告撰写与审核

超声智能体

覆盖超声心动图解读、胎儿超声、机器人扫描及超声引导工作流。代表性工作包括：

• 多智能体系统：如FetalAgents、UltrasoundAgents等，模拟临床诊断流程的层级化多智能体框架
• 可靠解读：如EchoAgent将超声心动图解读分解为视觉观察、测量与专业推理
• 通用系统：如Unified Ultrasound Intelligence，实现跨器官类型的统一超声分析系统

搜集汇总

数据集介绍

构建方式

该数据集通过系统性地梳理和整合医学影像智能体领域的前沿研究成果构建而成。其构建过程遵循严格的分层分类体系，首先依据成像模态（如CT、MRI、胸部X光、超声、病理等）和临床应用场景（如放射学、病理学、超声、内窥镜与手术影像、眼科等）进行一级划分，进而在每个子类别下进一步细分为智能体工作流、研究资源、安全与评估等维度。收录内容涵盖经同行评议的期刊论文、arXiv预印本、基准测试、数据集、可复现代码及开源系统，确保资源的全面性与学术权威性。

特点

该数据集的核心特色在于其系统化的分类框架与多模态覆盖能力。它通过可视化分类图清晰呈现医学影像智能体的研究脉络，从工具使用、检索增强生成、多智能体协作到规划、分割、报告生成、临床推理等关键工作流均有涉及。特别值得关注的是，数据集对安全性评估给予了专门关注，包括幻觉检测、公平性、鲁棒性、不确定性、弃权机制、隐私保护及临床验证等维度，为构建可信赖的医学影像智能体提供了系统化的资源支撑。

使用方法

使用者可依据分类目录快速定位特定模态或应用场景下的研究资源。每个条目均提供论文标题、发表年份、出版来源及arXiv链接，便于直接获取原始文献。数据集支持两种主要使用方式：一是作为文献调研的入口，通过放射学智能体、病理学智能体等分类快速掌握领域进展；二是作为技术参考，通过基准测试与评估模块获取可复现的实验设置与评估指标。对于开发者而言，开源系统与代码链接可直接用于工程实践与模型复现。

背景与挑战

背景概述

在医学影像分析领域，人工智能系统正从单一的深度学习模型向具备自主决策与多步推理能力的智能体（Agent）演进。Awesome Medical Imaging Agents 数据集于2026年由研究团队整理发布，系统性地收录了面向放射学、病理学、超声、内镜及眼科等模态的智能体研究。其核心研究问题在于如何构建能够调用工具、进行检索增强生成、实现多智能体协作与临床推理的医学影像分析系统。该数据集整合了同行评审论文、基准测试、开源系统及安全性评估资源，在推动医学影像智能体从概念验证迈向临床落地的进程中发挥了关键作用，为相关领域的研究者提供了全面的知识图谱与可复现的参考框架。

当前挑战

当前医学影像智能体面临多重挑战。在领域问题层面，如何确保智能体在复杂临床场景中具备可靠的推理能力与可解释性是一大难题，例如在放射学报告生成中需避免幻觉输出，在病理全切片图像分析中需实现多尺度导航与准确诊断。在构建过程中，挑战包括：多模态数据的异构性与标注稀缺性限制了模型泛化；智能体工具调用与检索增强生成的协同机制尚不成熟；多智能体系统的通信效率与决策一致性难以保证；此外，临床部署中的安全性、公平性及不确定性量化评估缺乏统一标准，阻碍了智能体从研究到床头的转化进程。

常用场景

经典使用场景

在医学影像分析领域，该数据集最经典的使用场景是构建和评估面向放射学、病理学、超声及内窥镜成像的智能代理系统。研究者可基于此资源库，开发能够自主执行影像解读、报告生成、临床推理及多模态协作的代理模型，例如在胸部X光片中实现证据驱动的诊断推理，或在病理全切片图像中完成导航与病灶定位。其结构化分类体系为不同模态的代理设计提供了统一基准，推动了从单一任务模型向复合型智能系统的范式转变。

衍生相关工作

该数据集衍生了一系列具有里程碑意义的工作，包括提出证据链推理的CXReasonAgent、采用导演-工人架构的MedRAX系统，以及实现多放大倍率导航的MMNavAgent。在病理学领域，PathAgent与CPathAgent分别从可解释性与基础模型角度重新定义了全切片分析范式；超声方面，EchoAgent与FetalAgents则通过分层推理框架提升了心脏与胎儿影像的自动化评估水平。这些工作共同推动了医学影像代理从概念验证向临床可部署工具的演进，并催生了如RadFabric等融合视觉与语言推理的混合架构。

数据集最近研究

最新研究方向

当前，医学影像智能体领域的研究正以前所未有的速度向多智能体协作、工具增强推理与临床可解释性深度融合的方向演进。围绕放射学、病理学与超声影像等核心模态，前沿工作聚焦于构建具备自我反思与经验积累能力的诊断智能体，例如通过经验记忆框架实现鉴别诊断的MedExpMem，以及采用导演-工人架构进行胸片推理的MedRAX。在病理学领域，以PathNavigate和CPathAgent为代表的智能体能够自主导航全切片图像，结合惊喜引导扫描与共享记忆机制，实现了无需训练的视觉问答与可解释分析。超声影像方面，EchoAgent与UltrasoundAgents等系统通过分层证据链推理与演员-验证者循环，显著提升了心脏与乳腺超声诊断的可靠性与透明性。这些研究不仅推动了智能体从单一任务执行向复杂临床决策支持的跨越，更通过引入不确定性感知、公平性审计与质量控制系统，为解决医学影像分析中的可解释性、安全性与泛化性等关键挑战提供了全新范式，预示着智能体驱动的精准医疗正从概念验证迈向临床落地的新阶段。