Awesome-Pathology-Agents

这是一个专注于计算病理学领域的资源合集，主要收集和整理病理学相关的论文和数据集。合集内容包括综述、论文（涵盖感知、推理、规划、工具使用、记忆和自我改进等方面）以及基准测试/数据集（分为补丁级别和幻灯片级别的基准，以及多个具体数据集）。该合集旨在为研究人员和从业者提供一个集中的资源索引，以支持病理学中的AI代理和计算工具开发。

This is a curated resource collection focused on the field of computational pathology, primarily gathering and organizing pathology-related papers and datasets. The collection includes review articles, research papers covering aspects such as perception, reasoning, planning, tool use, memory, and self-improvement, as well as benchmark tests and datasets, which are divided into patch-level and slide-level benchmarks plus multiple specific datasets. This collection aims to provide a centralized resource index for researchers and practitioners to support the development of AI Agents and computational tools in pathology.

原始信息汇总

数据集/基准测试（Benchmarks）概览

该页面专注于计算病理学领域，汇总了多个用于评估和分析病理图像智能体的基准测试与数据集，涵盖图像块（Patch）级别和全切片（Slide）级别。

图像块级别基准测试

数据集	问题类型	问题数量	图像数量	任务
PathMMU	封闭式	33,428	24,067	视觉问答
PathVQA	开放式	32,632	4,289	视觉问答
MicroVQA	封闭式	1,042（测试集）	-	视觉问答
Quilt_VQA	开放式	1,283	985	视觉问答

全切片级别基准测试

数据集	问题类型	问题数量	图像数量	任务
WSI-VQA	开放式和封闭式	977	8,671	视觉问答
WSI-Bench	开放式和封闭式	175,450（训练集）+ 4,119（测试集）	9,642（训练集）+ 208（测试集）	视觉问答
SlideBench-VQA	封闭式	7,827（TCGA）+ 7,247（BCNB）	734（TCGA）+ 1,058（BCNB）	视觉问答
PathCap	开放式	9,727（GTEx）个标题	7,795（训练集）+ 948（验证集）+ 984（测试集）	标题生成
HEST-1k	组织学-空间转录组学	1,229 个切片-ST对	1,229 个切片-ST对	基因表达预测
STimage-1K4M	组织学-空间转录组学	1,149 个切片-ST对	1,149 个切片-ST对	基因表达预测

主要数据集

• PathMMU：一个大规模多模态专家级基准，用于病理学理解和推理。
• WSI-VQA：通过生成式视觉问答解释全切片图像。
• PathBench：为病理学图像理解（包括图像块和全切片级别）推进大多模态模型的基准测试。
• PathoGaze1.0：包含数字病理学中的眼动追踪、鼠标追踪、刺激追踪和决策数据集。
• PathGen-1.6M：通过多智能体协作生成的160万病理学图像-文本对。
• Quilt-1M：100万对组织病理学图像-文本对。
• Hest-1k：用于空间转录组学和组织学图像分析的数据集。
• STimage-1K4M：用于空间转录组学的组织病理学图像-基因表达数据集。

搜集汇总

数据集介绍

构建方式

随着计算病理学领域从静态分析迈向自主诊断工作流的范式转变，病理学智能体（Pathology Agents）正成为推动这一变革的核心驱动力。Awesome-Pathology-Agents数据集并非传统意义上的单一数据集合，而是一个精心编纂的文献与资源索引库。其构建方式遵循系统化的分类学框架，通过广泛检索并筛选近年来发表于顶级会议与期刊（如Nature、Nature Medicine、CVPR、MICCAI等）的相关论文与基准数据集，按照智能体的核心能力维度——感知（Perception）、推理（Reasoning）、规划（Planning）、工具使用（Tool Use）、记忆（Memory）及自我改进（Self-improvement）——进行归纳整理，同时收录了涵盖补丁级别与全切片级别的多项基准测试与数据集。

特点

该数据集的卓越之处在于其高度的结构性与专业性。它以智能体能力的六大模块为骨架，清晰呈现了从视觉语言基础模型（如UNI、CONCH、Virchow）到具备复杂推理与决策能力的智能体系统（如PathAgent、CPathAgent、PathFinder）的完整演进脉络。此外，数据集不仅收录了前沿论文，还专门设立了基准测试板块，囊括了PathMMU、WSI-Bench等大规模评估资源，为研究者提供了从模型训练到性能验证的一站式参考。其通过GitHub平台持续维护与更新，并附有论文引用与星标历史，确保了资源的时效性与影响力。

使用方法

研究者可通过该数据集的分类目录高效定位所需资源。例如，若关注病理图像的全切片分析，可直接查阅“Slide Level Benchmarks”中的WSI-VQA或WSI-Bench数据集；若希望复现或改进某类智能体模型，可依据“Papers”部分中对应的能力分类（如感知或推理）寻找相关论文及其开源代码链接。每个条目均提供了论文出处、会议/期刊级别及GitHub仓库链接，便于直接获取模型实现与训练数据。此外，数据集附带的综述论文为入门者提供了全景式领域概览，而“Star History”功能则有助于追踪社区关注趋势，辅助判断研究热点。

背景与挑战

背景概述

在计算病理学领域，随着深度学习尤其是基础模型与多模态大语言模型的迅猛发展，病理图像分析正从静态的特征提取迈向具备感知、推理、规划与工具使用能力的智能代理系统。Awesome-Pathology-Agents 数据集由国际研究团队于2025年创建，系统梳理了涵盖感知、推理、规划、工具使用、记忆及自我改进等维度的前沿论文与基准。其核心研究问题在于构建能够模拟病理学家诊断逻辑的自主代理，以应对全切片图像分析、病理报告生成及临床决策支持等复杂任务。该数据集通过对 Nature、Nature Medicine、CVPR 等顶级期刊与会议成果的集成，显著推动了计算病理学从单一模型向协作式多代理系统的范式转变，为领域内研究者提供了全面的文献导航与基准参考。

当前挑战

该数据集所解决的领域挑战在于病理图像分析的固有复杂性：全切片图像的超高分辨率与形态异质性要求模型具备多尺度感知能力，而临床诊断依赖的因果关系推理与可解释性需求远超传统图像分类任务。构建过程中面临多重困境：首先，病理标注依赖专家知识，大规模高质量图文对与问答对的获取成本极高，如 PathMMU 与 WSI-Bench 需整合多源数据并保证医学准确性；其次，多代理系统的规划与工具调用需在低资源环境下实现稳定协作，同时兼顾推理效率与临床可信度；此外，现有基准在开放式问答、空间转录组预测等任务上的评估标准尚不统一，限制了模型泛化能力的客观衡量。

常用场景

经典使用场景

在计算病理学领域，该数据集整合了从斑块级到全切片级的丰富基准与评估体系，广泛应用于病理视觉语言模型的训练与性能验证。其核心使用场景涵盖病理图像问答、报告生成、基因表达预测等任务，研究者可借助PathVQA、WSI-Bench等基准，系统性地评估模型在病理形态学理解、多模态推理及临床知识融合方面的能力，为构建具备感知、推理与规划能力的智能病理代理提供了标准化测试平台。

衍生相关工作

该数据集衍生了一系列开创性工作，深刻重塑了计算病理学的研究版图。在感知层面，UNI、CONCH与Prov-GigaPath等基础模型奠定了全切片表征学习的基石；在推理层面，PathReasoner-R1与Pathology-CoT引入了结构化思维链与强化学习策略，提升了模型的可解释性。此外，PathFinder与CPathAgent等规划型代理系统，以及Patho-AgenticRAG等工具增强框架，共同推动了从单一模型到多代理协作范式的跃迁，为自主病理诊断与科学发现开辟了新路径。

数据集最近研究

最新研究方向

在计算病理学领域，前沿研究正从静态分析范式向具备自主诊断能力的智能体系统演进，这一转变深刻契合了精准医疗对可解释性、推理能力和多模态融合的迫切需求。围绕该数据集，最新研究方向聚焦于构建具有感知、推理、规划、工具使用及记忆等认知功能的病理学智能体，例如PathAgent和CPathAgent通过模拟病理学家诊断逻辑实现全切片图像可解释分析，而PathReasoner-R1与Patho-R1则借助知识引导策略优化与强化学习提升复杂推理能力。同时，大规模基础模型如UNI、CONCH及TITAN在Nature Medicine等顶刊的涌现，为智能体提供了强大的视觉-语言表征基础，结合PathGen-1.6M等高质量多模态数据集的生成与WSI-Bench等全切片级基准的构建，推动了从图像描述、问答到基因表达预测等多样化临床任务的自动化与智能化，显著提升了病理诊断的准确性与效率，并为肿瘤生物标志物发现和临床决策支持开辟了新路径。