Merlin Plus

Merlin Plus是由约翰斯·霍普金斯大学、哈佛大学等多家机构联合构建的首个大规模多癌种CT图像-掩膜-报告数据集，旨在解决多器官肿瘤分割中标注稀缺的瓶颈。该数据集包含25,494对腹部CT扫描与放射学报告，并新增1,153个经放射科医师验证的逐体素肿瘤掩膜，覆盖脾脏、膀胱、胆囊等9种器官的恶性与良性肿瘤，同时提供去标识化患者ID、扫描日期等纵向元数据。数据集通过基于报告的主动学习框架生成初始掩膜，再由放射科医师修正，将标注效率提升3至5倍。Merlin Plus可支撑多器官肿瘤检测、分割及癌症进展的纵向分析模型训练，显著提升现有AI模型在罕见肿瘤类型上的性能。Merlin Plus is the first large-scale multi-cancer CT image-mask-report dataset jointly constructed by Johns Hopkins University, Harvard University and other institutions, aiming to address the bottleneck of scarce annotations in multi-organ tumor segmentation. This dataset contains 25,494 pairs of abdominal CT scans and radiology reports, plus 1,153 additional radiologist-validated voxel-wise tumor masks covering malignant and benign tumors of 9 organs including the spleen, bladder, gallbladder and others. It also provides longitudinal metadata such as de-identified patient IDs and scan dates. The dataset generates initial masks via a report-based active learning framework, which is then revised by radiologists, improving annotation efficiency by 3 to 5 times. Merlin Plus can support the training of models for multi-organ tumor detection, segmentation and longitudinal analysis of cancer progression, and significantly enhance the performance of existing AI models on rare tumor types.

原始信息汇总

Merlin Plus 数据集概述

基本信息

• 数据集名称：Merlin Plus
• 数据集地址：https://github.com/MrGiovanni/MerlinPlus
• HuggingFace 地址：https://huggingface.co/datasets/AbdomenAtlas/MerlinPlus
• Stanford AIMI 地址：https://stanford.redivis.com/datasets/bvj1-5hc2whwf6
• 合作机构：Stanford Merlin Project 与 Johns Hopkins University R-Super Project
• 论文：Merlin Plus: A Large-Scale, Multi-cancer, Image-Mask-Report Dataset（MICCAI 2026, LNCS 16895）

数据集组成

Merlin Plus 提供 Merlin 数据集（Stanford，25,494 例 CT 扫描）的纵向元数据（患者 ID 和扫描日期），以及器官和 9 种肿瘤类型的逐体素标注。

肿瘤掩码

• 由放射科医生创建的 1,193 个掩码
• 覆盖 9 个器官的肿瘤，其中大部分在以往的分割数据集中不可用
• 所有确诊的恶性肿瘤均已标注，另包含 200 多个良性肿瘤
• 未标注的肿瘤包括其他良性肿瘤，以及无法确认恶性或放射科医生无法清晰看到的病例

器官掩码

• 由在 Johns Hopkins University 超过 14,000 例 CT 扫描上训练的 AI 模型创建
• 包含器官、血管、器官部分（肝脏和胰腺子段）及导管的逐体素标注
• 共 44 个器官

器官列表：

• adrenal gland left（左肾上腺）
• adrenal gland right（右肾上腺）
• aorta（主动脉）
• bladder（膀胱）
• cbd stent（胆总管支架）
• celiac artery（腹腔动脉）
• celiac trunk（腹腔干）
• colon（结肠）
• common bile duct（胆总管）
• duodenum（十二指肠）
• esophagus（食管）
• femur left（左股骨）
• femur right（右股骨）
• gall bladder（胆囊）
• hepatic vessels（肝血管）
• intestine（肠）
• kidney left（左肾）
• kidney right（右肾）
• liver（肝脏）
• liver segment 1–8（肝脏第 1–8 段）
• lung left（左肺）
• lung right（右肺）
• pancreas body（胰体）
• pancreas head（胰头）
• pancreas tail（胰尾）
• pancreas（胰腺）
• pancreatic duct（胰管）
• portal vein and splenic vein（门静脉与脾静脉）
• postcava（下腔静脉）
• prostate（前列腺）
• rectum（直肠）
• renal vein left（左肾静脉）
• renal vein right（右肾静脉）
• spleen（脾脏）
• stomach（胃）
• superior mesenteric artery（肠系膜上动脉）
• superior mesenteric vein（肠系膜上静脉）

Merlin 数据集

• Merlin Abdominal CT Dataset 由来自 18,317 名患者的 25,494 例扫描组成
• 每例扫描配有相应的放射学报告
• 包含 2012 年至 2018 年在 Stanford Hospital 进行的腹部和盆腔 CT 检查

纵向数据

• 提供匿名化的患者 ID 和扫描日期，用于将 CT 扫描与报告随时间关联
• 3,830 名患者有两次或以上扫描

数据下载

• CT 扫描和报告：https://stanfordaimi.azurewebsites.net/datasets/60b9c7ff-877b-48ce-96c3-0194c8205c40
• 纵向元数据（患者 ID 和扫描日期）：https://huggingface.co/datasets/AbdomenAtlas/MerlinPlus/blob/main/merlin_longitudinal_metadata.csv
• 器官和肿瘤掩码：https://huggingface.co/datasets/AbdomenAtlas/MerlinPlus

下载命令： bash pip install -U "huggingface_hub>=0.34" hf download AbdomenAtlas/MerlinPlus --repo-type dataset --local-dir ./MerlinPlusCompressed bash MerlinPlusCompressed/unzip.sh --archive_dir MerlinPlusCompressed --out_dir MerlinPlus --workers 6

模型下载

名称	模型	权重
🏆 Merlin-Super	https://github.com/MrGiovanni/R-Super	https://huggingface.co/AbdomenAtlas/Merlin-Cancer-Super
Merlin-Net	https://github.com/MIC-DKFZ/nnUNet	https://huggingface.co/AbdomenAtlas/Merlin-Cancer-Net

• 欢迎提交在 Merlin Plus 上训练的新模型，联系方式：[e-mail]

模型性能

• 在 Merlin Plus 上训练的模型在肿瘤检测和分割方面超越以往公开的 AI 模型
• R-Super 是在 Merlin Plus 上训练的表现最佳的肿瘤检测和分割模型
• 在 Merlin Plus 上训练的模型超越在 Merlin（无掩码）上训练的模型

后处理与主动学习

• 包含后处理代码，可自动优化 AI 生成的掩码，使其更符合放射学报告中的肿瘤描述
• 用于基于报告的主动学习策略
• Merlin Plus 中的所有肿瘤掩码均由放射科医生验证/修正

基于报告的主动学习流程：R-Super 首先仅从 CT-报告对中学习肿瘤分割并为数据集创建掩码；这些掩码被自动优化以匹配报告中的肿瘤数量、大小和位置，并获得报告置信度分数；放射科医生修订低分掩码，R-Super 使用报告和修正后的掩码重新训练，循环重复。

引用

使用本数据需引用以下论文（Merlin Plus、R-Super 和 Merlin Projects）：

• Bassi et al., Merlin Plus: A Large-Scale, Multi-cancer, Image-Mask-Report Dataset, MICCAI 2026
• Bassi et al., Learning segmentation from radiology reports, MICCAI 2025
• Blankemeier et al., Merlin: a computed tomography vision-language foundation model and dataset, Nature, 2026

致谢

• 本工作由 McGovern Foundation 和 Lustgarten Foundation for Pancreatic Cancer Research 支持
• 论文内容受未决专利保护
• 不允许商业使用

搜集汇总

数据集介绍

构建方式

Merlin Plus的构建根植于多癌种CT分割领域长期存在的标注资源匮乏困境，其核心策略是报告引导的主动学习框架。研究团队以Merlin数据集的25,494例CT-报告配对为基座，先借助R-Super模型直接从放射学报告中学习肿瘤定位、数量与尺寸，生成初始软掩膜；继而通过Ball卷积等后处理使掩膜与报告描述对齐，并计算报告置信度评分以甄别不可靠样本，交由四位放射科医师审阅修正。经三轮迭代，每轮约产出450例修正掩膜，最终在五个月内完成1,153例肿瘤掩膜的构建，较纯手工标注提速三至五倍。

特点

该数据集的首要特质在于其填补了公共CT资源中脾、膀胱、胆囊、胃、十二指肠和前列腺六类器官肿瘤掩膜的空白，并在肾上腺、食管与子宫三类肿瘤上构成迄今规模最大的公开掩膜集合，共涵盖九个器官的1,153例体素级掩膜，其中325例为良性肿瘤。数据同时纳入去标识化患者ID、扫描日期、年龄、性别、种族及扫描仪参数等纵向元数据，使3,830例拥有两次以上扫描的患者得以支撑癌症进展的时序建模，并为人口统计与协议偏倚的审计提供可能。

使用方法

在具体应用中，研究者可直接加载该数据集训练多器官肿瘤分割模型，如MedFormer或R-Super，以提升对上述九类肿瘤的检测灵敏度与分割精度。掩膜以体素级标注形式提供，适用于监督式分割训练；结合报告文本，可开展报告监督学习与多模态联合训练。纵向元数据支持按患者ID聚合多次扫描，构建癌症进展轨迹分析或纵向AI算法。评估时建议采用器官级体积阈值判定的检测指标以及Dice系数，并注意与FLARE、ULS等公共模型进行外部验证对比，以充分验证模型在多癌种场景下的泛化能力。

背景与挑战

背景概述

多癌灶CT分割长期受制于公开肿瘤掩膜稀缺，现有数据集仅覆盖肝、肾、胰腺、结肠与肺等少数器官，而脾、膀胱、胆囊、胃、十二指肠、前列腺等部位肿瘤约占全球癌症死亡率的一半，却缺乏体素级标注。Merlin Plus由约翰霍普金斯大学、哈佛医学院、斯坦福大学等机构于2026年联合发布，在Merlin数据集25,494例CT-报告对基础上新增1,153例经放射科医师核验的肿瘤掩膜及纵向元数据，覆盖9个器官，并首创基于报告的主动学习标注框架，使标注效率提升3至5倍，为多器官肿瘤检测、分割与纵向分析提供了迄今规模最大的公开资源。

当前挑战

该数据集所应对的领域难题在于多器官肿瘤分割模型因掩膜匮乏而泛化受限，脾、膀胱、胆囊、胃、十二指肠、前列腺等部位肿瘤在既往公开数据中几无体素标注，现有模型对这些器官的检测与分割能力严重不足。构建层面的挑战同样严峻，由于缺乏可用的预训练分割器，主动学习面临冷启动困境；小肿瘤与低对比度病灶的标注者间一致性偏低，且放射科医师逐例勾画成本高昂，如何在保证标注质量的同时显著压缩标注负担，成为数据集构建的核心难题。

常用场景

经典使用场景

在计算机断层扫描（CT）影像中实现多器官肿瘤的精准分割与检测，是Merlin Plus数据集最为典型的使用场景。该数据集凭借涵盖脾脏、膀胱、胆囊、食管、胃、十二指肠、子宫、前列腺及肾上腺等九类器官的1153例由放射科医师逐体素标注的肿瘤分割掩膜，为训练和评估三维医学图像分割模型提供了不可或缺的监督信号。研究者可借助这一数据资源，系统性地构建并验证面向多癌种、多器官的深度学习分割算法，从而突破既往公开数据集仅覆盖肝脏、肾脏、胰腺、结肠与肺部等少数器官的局限，推动全身多器官肿瘤自动分割研究向更广阔的解剖领域延伸。

衍生相关工作

Merlin Plus的发布催生了一系列围绕多肿瘤分割与报告引导学习的经典工作。其中，报告监督分割模型R-Super利用放射学报告训练无需掩膜的肿瘤分割网络，并在此基础上构建了基于报告的主动学习框架，使放射科医师的标注效率提升三至五倍。MedFormer等多器官分割模型亦在该数据集上得到验证与优化，推动了三维医学图像分割架构的演进。与此同时，Merlin Plus与AbdomenAtlas系列数据集形成互补，共同促进了腹部多器官与多肿瘤联合分割基准的建立，为后续研究提供了可复现的比较平台与算法迭代的起点。

数据集最近研究

最新研究方向

Merlin Plus 数据集的最新研究方向聚焦于利用报告引导的主动学习框架，突破多癌种CT分割中肿瘤掩膜稀缺的瓶颈。该方向通过从放射学报告中提取肿瘤位置、数量与尺寸信息，驱动分割模型生成初始掩膜，再经放射科医师审核修正，实现跨9个器官的高效掩膜标注，将标注效率提升3至5倍。同时，数据集提供的纵向元数据推动了癌症进展的时序建模与人口统计学偏差审计研究。该工作为脾、膀胱、胆囊、胃、十二指肠、前列腺等公开掩膜匮乏的肿瘤类型提供了大规模基准，显著提升了多器官肿瘤检测与分割性能，并为利用全球每年逾3亿次CT扫描实现偶发癌症早期筛查提供了关键资源与算法范式。

相关研究论文

• Merlin Plus: A Large-Scale, Multi-Cancer, Image-Mask-Report Dataset

  约翰斯·霍普金斯大学; 哈佛大学; 雅盖隆大学; 斯坦福大学; 瓦尔米亚-马祖里癌症中心; 加州大学旧金山分校 · 2026年