OpenVAE

OpenVAE是由约翰斯·霍普金斯大学等机构联合构建的大规模胸部CT增强数据集，包含17,316例经放射科医生验证的公开EICT扫描数据，通过SUMI方法提升至PCCT级质量。数据集涵盖来自145家医院的405,379例常规CT和1,046例光子计数CT（PCCT），并标注了气道树、肺动脉、肺静脉等精细解剖结构。其创新性在于通过临床验证的退化模型模拟真实采集伪影，实现无配对数据的质量增强。该数据集旨在推动跨机构胸部影像研究，提升肺结节检测等下游任务的性能，解决PCCT设备稀缺导致的临床数据鸿沟问题。OpenVAE is a large-scale enhanced chest CT dataset jointly constructed by Johns Hopkins University and other institutions. It contains 17,316 publicly available EICT scans validated by radiologists, which are upgraded to PCCT-level quality using the SUMI method. The dataset covers 405,379 routine CT scans and 1,046 photon-counting CT (PCCT) scans sourced from 145 hospitals, with fine anatomical structures including airway trees, pulmonary arteries, and pulmonary veins annotated. Its core innovation lies in simulating real-world acquisition artifacts via a clinically validated degradation model, thereby achieving quality enhancement without paired data. This dataset is designed to advance cross-institutional chest imaging research, improve the performance of downstream tasks such as pulmonary nodule detection, and bridge the clinical data gap caused by the scarcity of PCCT equipment.

原始信息汇总

OpenVAE 数据集概述

数据集基本信息

• 名称: OpenVAE
• 类型: 医学影像变分自编码器（VAE）模型家族
• 领域: 医学影像、计算机断层扫描（CT）、磁共振成像（MRI）
• 许可证: MIT
• 相关论文: Distilling Photon-Counting CT into Routine Chest CT through Clinically Validated Degradation Modeling
• 代码仓库: https://github.com/KumaKuma2002/OpenVAE
• 模型仓库: https://huggingface.co/SMILE-project/OpenVAE

核心目标

提供开源的、预训练的VAE骨干网络，用于CT/MRI扩散模型，支持2D和3D医学图像重建与生成。

模型与训练

• 模型架构: 包含KL-VAE和VQ-VAE。
• 训练数据: 在多达100万个CT体数据上进行训练。
• 训练目标: 结合了感知损失、对抗性损失和分割引导目标。
• 模型变体: 提供多种2D和3D模型，区别在于训练患者数量、潜在空间下采样因子（如4x、8x）和输入分辨率（如512²、64³、128³）。

关键模型与性能

在OpenVAE CT保留基准测试集（12个病例）上的重建指标如下（SSIM、PSNR越高越好，LPIPS越低越好）：

模型	类型	患者数	潜在下采样	分辨率	SSIM	PSNR (dB)	LPIPS
OpenVAE-2D-4x-2K	KL-VAE	2K	4×	512²	0.8932	34.87	0.0868
OpenVAE-2D-4x-10K	KL-VAE	10K	4×	512²	0.8867	34.91	0.0816
OpenVAE-2D-4x-10K-pro	KL-VAE	10K	4×	512²	0.8880	34.51	0.0781
OpenVAE-2D-4x-20K	KL-VAE	20K	4×	512²	0.8798	34.63	0.0782
OpenVAE-2D-4x-100K	KL-VAE	100K	4×	512²	0.8835	34.24	0.0752
OpenVAE-2D-4x-300K	KL-VAE	300K	4×	512²	0.8874	33.84	0.0852
OpenVAE-2D-4x-PCCT_enhanced	KL-VAE	300K	4×	512²	0.8813	34.00	0.0756
OpenVAE-3D-4x-patch64-10K	KL-VAE	10K	4×	64³	0.8099	25.99	0.1565

发布与获取

• 预训练权重: 可通过Hugging Face获取：https://huggingface.co/SMILE-project/OpenVAE
• 发布历史:
  • 2026年3月15日：2D OpenVAE权重上传至Hugging Face。
  • 2026年4月6日：首个3D 64³补丁检查点（OpenVAE-3D-4x-patch64-10K）上传。

使用方式

• 2D VAE (Diffusers): 使用AutoencoderKL.from_pretrained加载模型进行编码和解码。
• 3D VAE (MONAI): 使用AutoencoderKlMaisi架构加载检查点进行3D体数据编码和解码。
• CT重建: 提供2D逐切片和3D滑动窗口推理脚本。

训练数据格式

• HDF5 (默认): train_data_dir/<subject_id>/ct.h5，键为"image"，形状为(H, W, D)，HU值范围[-1000, 1000]。
• NIfTI (可选): train_data_dir/<subject_id>/ct.nii.gz 或 ct.nii，要求相同的HU范围和形状约定。

评估指标

指标	范围	方向	描述
MAE_100	0–100	越高越好	在[0,1]范围内的3D体数据上计算(1 - MAE) * 100
Detail_100	0–100	越高越好	3D梯度幅值的皮尔逊相关性
SSIM	0–1	越高越好	结构相似性
PSNR	dB	越高越好	峰值信噪比
LPIPS	0–1	越低越好	学习感知图像块相似度（基于AlexNet）

引用要求

使用OpenVAE权重、发布的CT潜在表示或本仓库相关资源时，请引用主要论文（arXiv:2604.07329）。若基于或对比早期的解剖感知对比度增强工作，请同时引用相关论文（arXiv:2512.07251）。

搜集汇总

数据集介绍

构建方式

在医学影像领域，光子计数计算机断层扫描（PCCT）凭借其卓越的空间分辨率和低噪声特性，为胸部疾病诊断提供了前所未有的图像质量，然而其高昂的成本限制了临床普及。为弥合这一差距，OpenVAE数据集通过创新的模拟退化-增强方法构建。研究团队首先在来自145家医院的405,379例常规能量积分CT（EICT）扫描和1,046例高质量PCCT扫描上预训练了一个自编码器，以提取通用的CT潜在特征。随后，他们设计了一个经放射科医师临床验证的退化模拟器，通过稀疏视图、低剂量和常规退化三种策略，将PCCT转化为模拟EICT质量的对应图像。基于此，训练了一个潜在扩散模型来学习逆转这一退化过程，从而将低质量EICT增强至PCCT级别的图像质量，并最终生成了包含17,316例公开可用EICT扫描的增强数据集。

特点

OpenVAE数据集的核心特征在于其规模宏大且质量卓越。该数据集包含了超过17,316例公开胸部CT扫描，这些扫描均被增强至接近PCCT的图像质量标准。尤为突出的是，每例增强数据均附有经过放射科医师验证的体素级精细标注，涵盖了气道树、肺动脉、肺静脉、肺实质及肺叶等关键解剖结构，为深度学习模型提供了高质量的监督信号。数据集构建过程深度融合了临床先验知识，其退化模拟策略经由执业放射科医师评估，确保了模拟图像的真实性与临床相关性。这种以临床验证为指导的构建范式，使得数据集不仅具有技术上的先进性，更具备了直接的临床应用潜力。

使用方法

OpenVAE数据集为医学影像分析社区提供了多方面的应用途径。研究人员可直接利用该数据集训练或评估图像增强、超分辨率及去噪算法，其提供的PCCT级别高质量图像可作为理想的参考标准。数据集附带的精细解剖结构标注，使其能够直接服务于分割模型的开发与验证，特别是在小气道和细微血管等挑战性结构的识别任务中。此外，研究团队释放的预训练自编码器及其学习到的通用CT潜在特征，可作为其他生成式医学影像任务的强大特征骨干网络，促进模型迁移与知识复用。在实践中，用户可通过访问项目开源仓库获取数据、代码与模型，将增强流程集成至现有CT分析流程中，以提升下游病灶检测、定量分析等任务的性能。

背景与挑战

背景概述

光子计数计算机断层扫描（PCCT）作为新兴的硬件技术，相较于传统的能量积分探测器CT（EICT），在空间分辨率和噪声控制方面展现出显著优势，能够更清晰地呈现胸部细微解剖结构。然而，PCCT设备成本高昂且临床普及有限，制约了大规模研究与应用。为弥合这一技术鸿沟，约翰斯·霍普金斯大学等机构的研究团队于2026年提出了OpenVAE数据集，其核心研究问题在于如何利用有限的高质量PCCT扫描作为参考，通过可验证的退化建模方法，将PCCT的成像优势“蒸馏”至广泛可及的常规EICT系统中，从而提升胸部疾病影像诊断的普适性与准确性。该数据集通过构建大规模的增强CT影像及其精细标注，为医学影像生成、质量提升及下游分析任务提供了关键资源。

当前挑战

OpenVAE数据集旨在解决医学影像领域中将高端硬件成像质量迁移至常规设备的挑战，其核心是提升低质量EICT影像至PCCT级别的图像质量。具体挑战体现在两方面：其一，领域问题层面，需克服PCCT与EICT间存在的系统性域偏移，确保生成影像在解剖结构保真度、组织密度一致性及临床可信度上满足诊断要求，避免产生误导性伪影；其二，构建过程层面，面临高质量配对数据稀缺的困境，研究团队必须设计并验证无需大规模配对采集的退化-增强模拟框架，同时需处理来自145家医院、超过40万例EICT扫描的异质性数据，并确保最终发布的逾1.7万例增强CT及其体素级标注具备放射科医生验证的临床可靠性。

常用场景

经典使用场景

在医学影像分析领域，OpenVAE数据集的核心应用场景聚焦于提升常规能量积分CT（EICT）的图像质量，使其逼近光子计数CT（PCCT）的成像水准。通过SUMI方法模拟真实采集退化过程，该数据集为训练生成模型提供了高质量参考，使得研究者能够在缺乏大规模配对数据的情况下，有效学习从低质量EICT到高质量PCCT的图像增强映射。这一过程不仅涵盖了稀疏视图、低剂量和常规退化等多种临床常见退化类型，还通过放射科医师验证确保了模拟退化的临床真实性，为医学图像增强研究提供了可靠且可扩展的基准平台。

衍生相关工作

围绕OpenVAE数据集，已衍生出一系列重要的学术工作。其核心方法SUMI本身作为基于潜扩散模型的图像增强框架，为医学图像生成领域提供了新范式。数据集所预训练的自编码器提取的通用CT潜在特征，可作为生成式医疗影像任务的可复用骨干网络。同时，该工作推动了针对CT图像退化模拟与增强的专项研究，激励后续学者在三维体积处理、跨解剖区域泛化等方面进行深入探索。相关技术思路也为解决其他模态医学影像的域偏移与质量提升问题提供了借鉴，促进了生成式AI在医疗领域的整体发展。

数据集最近研究

最新研究方向

在医学影像领域，光子计数计算机断层扫描（PCCT）凭借其卓越的空间分辨率和低噪声特性，为胸部疾病诊断提供了前所未有的图像质量，然而其高昂的成本和有限的临床可及性制约了大规模研究与应用。OpenVAE数据集及其关联的SUMI方法应运而生，旨在通过生成式人工智能技术，将PCCT的成像优势蒸馏至常规能量积分CT（EICT）中。该研究的前沿方向聚焦于构建一个大规模、经过放射科医生验证的模拟退化与增强框架，通过预训练自编码器学习通用CT潜在特征，并利用潜在扩散模型实现从低质量EICT到PCCT级图像的质量提升。这一技术不仅显著提升了图像的结构相似性与峰值信噪比，更在下游病灶检测任务中展现出高达15%的灵敏度改善，为跨机构、大规模医学影像研究提供了高质量的开放数据基础，有望推动先进成像技术在常规临床工作流程中的普惠化应用。

相关研究论文

• Distilling Photon-Counting CT into Routine Chest CT through Clinically Validated Degradation Modeling

  约翰斯·霍普金斯大学; 加州大学旧金山分校; 哈佛医学院; 埃默里大学; 英伟达; 约翰斯·霍普金斯医学中心 · 2026年