腹部医学图像注册的注释多模态真值数据集

本研究介绍了一种生成注释多模态4D数据集的方法，用于解决医学图像处理中注册任务的数据稀缺问题。数据集由4D扩展心脏-躯干（XCAT）幻影和真实患者数据通过CycleGAN网络架构生成，包含T1加权磁共振成像（MRI）、计算机断层扫描（CT）和锥束CT（CBCT）图像，这些图像在生成时已经内在对齐，可作为图像分割和注册的真值。数据集的创建过程涉及使用XCAT幻影提供的器官掩模，以及在XCAT框架内模拟呼吸和心跳的现实模拟。该数据集主要应用于医学图像处理领域，旨在优化多模态医学图像注册算法的参数，特别是在肝脏注册方面。

This study presents a method for generating annotated multimodal 4D datasets to address the data scarcity issue in registration tasks for medical image processing. The datasets are generated using 4D extended cardiac-torso (XCAT) phantoms and real patient data via the CycleGAN network architecture, including T1-weighted magnetic resonance imaging (MRI), computed tomography (CT), and cone-beam CT (CBCT) images. These images are intrinsically aligned during generation and can serve as ground truth for image segmentation and registration tasks. The creation of the datasets involves utilizing the organ masks provided by the XCAT phantoms, as well as realistic simulations of respiratory and cardiac motions within the XCAT framework. This dataset is primarily applied in the field of medical image processing, aiming to optimize the parameters of multimodal medical image registration algorithms, particularly in liver registration.

搜集汇总

数据集介绍

构建方式

在医学影像处理领域，高质量标注数据的稀缺性长期制约着图像配准等关键技术的发展。为应对这一挑战，本研究提出了一种创新的多模态合成数据生成框架。该框架以4D扩展心脏躯干（XCAT）数字体模为基础，通过分别训练的循环生成对抗网络（CycleGAN），将XCAT体模的几何结构与来自真实患者的CT、CBCT和T1加权MRI图像的风格特征相融合。生成过程中，通过引入强度损失和梯度差异损失来优化生成器，以保留器官的高对比度结构。由于所有合成图像均源自同一XCAT体模，因此它们天生具备精确的空间对齐特性，同时XCAT体模提供的器官掩膜和呼吸运动位移场可直接作为分割与配准任务的金标准。

特点

该数据集的核心优势在于其提供了腹部T1加权MRI、CT和CBCT三种模态的、完美配准的合成图像。其最显著的特点是具备真实数据难以企及的“金标准”属性：所有图像均基于同一XCAT体模生成，确保了跨模态间的像素级空间对齐；同时，体模提供的精确器官分割掩膜和生理运动（如呼吸、心跳）的模拟位移场，为算法开发与验证提供了无可争议的参考真值。此外，合成数据在噪声纹理、强度分布等图像特性上与真实患者数据表现出高度一致性，证明了其仿真的逼真度。这种将精确解剖标注、多模态对齐与逼真图像仿真相结合的特性，使其成为评估和优化医学图像配准算法的理想平台。

使用方法

该数据集主要服务于医学图像处理，特别是多模态非刚性配准算法的开发、优化与性能评估。研究人员可利用其固有的完美对齐特性，将不同模态的合成图像作为配准算法的输入，并将XCAT提供的器官掩膜（如肝脏掩膜）作为金标准，通过计算戴斯相似系数等指标来定量评估配准精度。数据集支持对配准算法中不同参数组合（如配准度量、B样条控制点间距）进行系统性的比较与调优。此外，合成数据也可用于数据增强，扩充训练样本以提升深度学习模型的泛化能力。其应用不仅限于肝脏，体模提供的其他腹部器官掩膜使得针对多种解剖结构的配准研究成为可能。

背景与挑战

背景概述

腹部医学图像注册的注释多模态真值数据集由德国海德堡大学曼海姆医学院智能医学系统研究所的Dominik Bauer等研究人员于近年提出，旨在应对医学图像处理中标注数据稀缺的挑战。该数据集基于4D扩展心脏-躯干（XCAT）数字体模，通过CycleGAN网络架构合成了T1加权磁共振成像、计算机断层扫描和锥形束CT等多模态图像，并提供了器官分割掩模和呼吸运动位移场。其核心研究问题聚焦于为腹部多模态图像注册算法提供精确的基准真值，以支持肝癌等疾病的诊断与介入治疗规划，对推动医学影像分析领域的算法验证与优化具有重要影响力。

当前挑战

该数据集致力于解决腹部多模态图像注册的领域挑战，即如何在不同成像模态（如CT、MRI、CBCT）之间实现精准对齐，以融合互补信息用于临床诊断与手术导航。构建过程中的主要挑战包括：生成合成数据时需保持解剖结构的真实性，同时模拟呼吸、心跳等生理运动以反映实际患者变异；此外，确保合成图像在噪声特性与强度分布上与真实患者数据一致，避免因过度正则化导致身份映射，从而维持数据在算法训练与评估中的实用性。

常用场景

经典使用场景

在医学影像处理领域，腹部多模态图像配准是精准诊断与介入治疗的关键技术。该数据集通过CycleGAN网络架构，基于4D XCAT体模生成合成的T1加权MRI、CT及CBCT图像，这些图像天生具备精确的空间对齐特性。其最经典的使用场景在于为多模态非刚性配准算法提供标注真值，研究者可利用肝脏器官掩膜评估配准参数优化效果，从而推动腹部影像配准方法的发展与验证。

解决学术问题

医学影像配准与分割领域长期面临标注数据稀缺的挑战，尤其在腹部区域，呼吸、心跳等生理运动加剧了多模态图像对齐的复杂性。该数据集通过合成方法生成了包含器官掩膜和位移场的多模态真值数据，有效解决了配准算法开发中缺乏金标准的问题。其意义在于为学术界提供了可重复、可扩展的评估基准，显著促进了非刚性配准、图像合成及深度学习模型训练等研究方向的发展。

衍生相关工作

该数据集的研究方法衍生了一系列经典工作。例如，Russ等人利用CycleGAN与XCAT体模合成腹部CT图像，提升了血管分割网络的性能；Tmenova等人将类似框架用于X射线血管造影合成，作为数据增强策略。此外，Wolterink等人采用CycleGAN进行MRI到CT的转换，推动了MRI-only放疗计划的发展。这些工作共同拓展了合成数据在医学影像处理中的应用边界，为多模态配准、分割及合成任务提供了坚实的技术基础。