CVPR-BiomedSegFM

CVPR 2025竞赛数据集：用于3D生物医学图像分割的基础模型。数据集包括CT、MR、PET、超声和显微镜五种模态的3D图像，所有图像均来自公开数据集并具有重分发许可。数据集经过预处理，将所有标记的切片提取并保存为npz文件，包含图像数据、地面真实数据和间距信息。此外，还提供了用于测试引导分割任务的文本提示。

原始信息汇总

CVPR 2025竞赛：3D生物医学图像分割基础模型数据集概述

数据集基本信息

• 许可证: CC-BY-NC-SA 4.0
• 覆盖模态: CT、MR、PET、超声、显微镜
• 数据来源: 公开数据集（允许再分发）

数据内容

• 格式: NPZ文件
• 包含键值:
  • imgs: 图像数据（形状: (D,H,W)，强度范围: [0, 255]）
  • gts: 真实标注（形状: (D,H,W)）
  • spacing: 空间信息
  • boxes: 边界框提示（仅部分文件包含）
  • text_prompts: 文本提示（仅部分文件包含）

文件夹结构

• 3D_train_npz_all: 完整训练集
• 3D_train_npz_random_10percent_16G: 随机选取的10%训练集子集
• 3D_val_npz: 验证集
• 3D_val_gt: 验证集真实标注
• CVPR25_TextSegFMData_with_class.json: 文本提示文件（用于文本引导分割任务）

交互式3D分割任务说明

• 训练集: 包含imgs、gts和spacing
• 验证/测试集: 不包含gts，可能包含boxes
• 边界框提示:
  • 适用于单目标分割
  • 不适用于血管（文件名含vessel）和多成分脑部病变（文件名含brats）

文本引导分割任务说明

• 训练集: 提供数据集级文本提示（JSON文件）
• 验证/测试集: 每个NPZ文件包含text_prompts键
• 标注类型:
  • instance_label: 1: 实例标注（每个标签对应一个实例）
  • instance_label: 0: 常见语义标注

注意事项

1. 部分数据集无文本提示（训练时需排除）
2. 测试案例将预处理为标准旋转
3. 实例标签评估指标为F1分数

搜集汇总

数据集介绍

构建方式

CVPR-BiomedSegFM数据集作为生物医学图像分割领域的重要资源，其构建过程体现了多模态数据整合与标准化处理的严谨性。该数据集精选了CT、MR、PET、超声和显微成像五种主流三维医学影像模态，所有数据均来自可再分发的公开数据集。通过提取标注切片并预处理为npz格式文件，每个文件包含标准化强度范围的图像数据、金标准标注及空间间距信息，有效平衡了数据规模与信息完整性。数据组织采用分层结构，包含完整训练集、10%随机子集、验证集及配套文本提示文件，为算法开发提供了灵活的数据支持。

特点

该数据集的核心价值在于其任务导向的设计特点。针对交互式三维分割任务，创新性地提供基于中间切片二维边界框的空间提示框，覆盖不同解剖结构的特性化标注需求。文本引导分割任务则通过结构化JSON文件提供实例级与语义级文本提示，支持自然语言与视觉内容的关联建模。值得注意的是，数据集对血管类等特殊结构采用零掩模策略，对多组分病变保留点提示机制，体现了生物医学标注的领域适应性。所有测试案例均经过标准旋转预处理，确保空间一致性。

使用方法

使用该数据集需遵循其模块化设计逻辑。通过标准Python接口加载npz文件，可获取图像数据、标注及空间参数。交互式分割任务需处理可选的边界框提示，其坐标体系通过z轴区间与二维框参数定义。文本引导任务需解析JSON文件中的分层提示信息，实例标签采用连通域分析生成。评估时需注意特殊结构的差异化处理策略：血管类案例直接采用点提示初始化，多组分脑病变则需排除边界框指标。官方提供的评估脚本实现了F1分数等专业指标的计算，确保结果可比性。

背景与挑战

背景概述

CVPR-BiomedSegFM数据集由CVPR 2025竞赛组织者构建，旨在推动基础模型在3D生物医学图像分割领域的应用。该数据集整合了CT、MR、PET、超声和显微镜五种常见模态的公开数据，通过标准化预处理将标注切片转化为高效存储的npz格式。核心研究聚焦于交互式3D分割与文本引导分割两大前沿任务，为医学影像分析提供了多模态、多任务的基准测试平台。其创新性体现在融合空间坐标与文本提示的混合标注体系，显著提升了模型在复杂解剖结构分割中的泛化能力。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，多模态影像的强度分布差异与解剖结构复杂性对模型跨模态迁移能力提出严峻考验，尤其血管类管状结构与多组分脑部病变的精确分割仍是业界难点。在构建过程中，数据标准化处理需平衡原始空间分辨率与存储效率，而文本提示的生成则受限于医学术语的标准化表述，部分病例因标注难度被迫放弃边界框提示。此外，实例分割评估中连接组件分析的稳定性问题，以及旋转一致性预处理对三维拓扑结构的影响，均为算法设计带来额外复杂度。

常用场景

经典使用场景

在医学影像分析领域，CVPR-BiomedSegFM数据集为研究者提供了一个多模态、标准化的3D生物医学图像分割基准。该数据集整合了CT、MR、PET、超声和显微镜五种常见影像模态，通过预处理的npz文件格式高效存储图像数据与标注信息。其经典应用场景包括开发基于交互式3D分割的算法，研究者可利用数据集提供的边界框提示或文本提示，探索弱监督或零样本学习在医学图像分割中的潜力。

实际应用

在实际医疗场景中，该数据集支撑的算法可应用于智能辅助诊断系统。例如在肿瘤病灶检测中，基于文本提示的分割模型能根据放射科医生的自然语言描述精确定位病变区域；而交互式3D分割技术可辅助手术规划，通过实时调整边界框提示优化器官分割结果。这些应用显著提升了医学影像分析的效率和可解释性。

衍生相关工作

围绕该数据集已衍生出多项创新研究，包括基于提示工程的医学图像分割框架、多模态特征融合网络以及半自动标注系统。其中最具代表性的是结合视觉-语言预训练模型的文本引导分割方法，这类工作通过挖掘影像描述文本与视觉特征的关联性，实现了更高精度的零样本迁移。数据集还催生了CVPR 2025竞赛中的多个基线模型，推动了医学AI领域的算法标准化进程。