TITAN

TITAN是一个多模态全切片基础模型，预训练使用了335,645个全切片图像（WSIs）和423,122个合成字幕，这些数据集来自内部收集的多种病例，包括肿瘤、感染和炎症病例。此外，TITAN还利用了超过182,000个病理报告和由PathChat生成的合成字幕。TITAN is a multimodal whole-slide foundation model, which was pre-trained with 335,645 whole-slide images (WSIs) and 423,122 synthetic captions sourced from internally collected diverse clinical cases including tumors, infections and inflammatory conditions. Additionally, TITAN also leverages over 182,000 pathological reports and synthetic captions generated by PathChat.

原始信息汇总

TITAN-preview

数据集概述

数据集名称

TITAN

数据集类型

多模态全切片病理基础模型

数据集描述

TITAN是一个多模态全切片病理基础模型，通过视觉自监督学习和视觉-语言对齐进行预训练。它利用了335,645张全切片图像（WSIs）和182,000份病理报告，以及由PathChat生成的423,122条合成字幕。TITAN的切片嵌入在多种下游任务中表现出色，包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成。

数据集来源

• 全切片图像（WSIs）：来自Mass General Brigham的内部收集的肿瘤、感染和炎症病例。
• 病理报告：182,000份。
• 合成字幕：由PathChat生成，共423,122条。

数据集用途

TITAN旨在提取通用切片表示并生成病理报告，适用于资源有限的临床场景，如罕见疾病检索和癌症预后。

数据集更新

• 12/02/2024: TITAN预印本和模型权重（TITAN-preview和CONCHv1.5）已发布。TCGA-OT数据集的拆分可在./datasets中获取。

数据集下载

模型权重和数据集特征可通过Hugging Face模型页面获取。

数据集示例

提供了多个演示笔记本，展示了TITAN的能力，包括：

• 从补丁嵌入中提取切片嵌入。
• 单切片和TCGA-OT数据集上的零样本分类。
• TCGA-OT数据集的切片嵌入的线性探测评估。

数据集比较

TITAN在多种任务中表现优于其他模型，具体结果参见论文。

数据集许可证

该模型和相关代码根据CC-BY-NC-ND 4.0许可证发布，仅可用于非商业学术研究目的。

搜集汇总

数据集介绍

构建方式

TITAN数据集的构建基于视觉自监督学习和视觉-语言对齐技术，利用了335,645张全切片图像（WSIs）以及182,000份病理报告和423,122条由多模态生成AI生成的合成字幕。这些数据涵盖了多种内部收集的肿瘤、感染和炎症病例，通过Transformer架构实现了图像与文本的深度融合。此方法不仅确保了数据的高多样性，还通过多模态对齐增强了模型的泛化能力。

使用方法

使用TITAN数据集时，首先需通过Hugging Face平台获取模型权重，并使用提供的代码进行安装和配置。随后，用户可以通过提供的示例代码进行切片级别的特征提取和零样本分类等操作。TITAN还提供了详细的演示笔记本，涵盖了从补丁嵌入中提取切片嵌入、零样本分类以及线性探测评估等具体用例，极大地简化了模型的实际应用过程。

背景与挑战

背景概述

在计算病理学领域，基础模型的最新进展通过自监督学习（SSL）将组织病理学感兴趣区域（ROIs）编码为多功能和可转移的特征表示，极大地推动了该领域的发展。然而，将这些进展应用于解决患者和切片级别的复杂临床挑战仍然受到特定疾病队列中临床数据有限的限制，尤其是罕见临床条件的数据。TITAN（Transformer-based pathology Image and Text Alignment Network）由Mahmood Lab开发，是一个多模态全切片基础模型，通过视觉自监督学习和视觉-语言对齐预训练，利用了335,645张全切片图像（WSIs）和423,122条由多模态生成AI病理学助手生成的合成字幕。TITAN无需微调或临床标签，即可提取通用切片表示并生成病理报告，适用于资源有限的临床场景，如罕见疾病检索和癌症预后。

当前挑战

TITAN在构建过程中面临的主要挑战包括：1）如何有效地整合大量多模态数据，确保模型能够从视觉和文本信息中提取有意义的特征；2）如何在缺乏大规模公共病理学切片集合（如TCGA、PAIP、CPTAC、PANDA）的情况下，确保模型的泛化能力和避免数据污染；3）如何在没有临床标签的情况下，实现对罕见疾病和癌症预后的准确检索和报告生成。此外，TITAN在实际应用中还需解决模型在不同临床任务中的适应性和性能优化问题。

常用场景

经典使用场景

在计算病理学领域，TITAN数据集的经典使用场景主要集中在多模态全切片基础模型的构建与评估。通过整合335,645张全切片图像（WSIs）与相应的病理报告，TITAN模型能够提取出具有丰富语义的切片表示，并生成病理报告。这一过程无需微调或临床标签，使得模型在资源有限的临床场景中，如罕见疾病检索和癌症预后，表现出卓越的泛化能力。

解决学术问题

TITAN数据集解决了计算病理学中长期存在的数据稀缺问题，特别是在罕见疾病和复杂临床挑战方面。通过视觉自监督学习和视觉-语言对齐，TITAN模型能够生成通用的切片表示，从而在无需大量标注数据的情况下，显著提升了模型的性能和泛化能力。这不仅推动了病理学基础模型的研究进展，也为临床决策提供了强有力的支持。

实际应用

在实际应用中，TITAN数据集被广泛用于病理报告生成、罕见癌症检索和跨模态检索等任务。例如，在癌症预后分析中，TITAN模型能够从全切片图像中提取关键特征，辅助医生进行更准确的诊断和治疗方案制定。此外，TITAN在资源有限的临床环境中表现出色，为全球范围内的病理学研究和应用提供了新的可能性。

数据集最近研究

最新研究方向

在计算病理学领域，TITAN数据集的最新研究方向主要集中在多模态全切片基础模型的开发与应用。TITAN通过视觉自监督学习和视觉-语言对齐，利用335,645张全切片图像（WSIs）和423,122条合成病理报告，构建了一个能够提取通用切片表示并生成病理报告的模型。该模型在资源有限的临床场景中，如罕见疾病检索和癌症预后，展现了卓越的性能。TITAN的研究不仅推动了病理学AI模型的前沿发展，还为解决临床数据稀缺问题提供了新的思路，特别是在处理罕见疾病和复杂病理情况时，其多模态整合策略具有重要的临床应用价值。