一个多样性的多源医疗视频数据集

本文构建了一个包含多种模态和解剖结构的多样性医疗视频数据集，用于一键医疗视频对象分割任务的基准测试。数据集跨越了各种模态和解剖结构，包括结肠镜和心脏超声视频，来源于四个不同的机构。该数据集用于训练和测试模型，以评估其在有限注释情况下的性能。

This paper constructs a diverse medical video dataset covering multiple modalities and anatomical structures, which serves as a benchmark for one-click medical video object segmentation tasks. Comprising colonoscopy and cardiac ultrasound videos, the dataset is sourced from four distinct institutions and covers a broad spectrum of modalities and anatomical structures. It is utilized for training and testing models to evaluate their performance under limited annotation conditions.

搜集汇总

数据集介绍

构建方式

该数据集的构建基于多样化的多源医疗视频数据，涵盖了结肠镜和心脏超声等多种模态和器官。数据来源包括ASU-Mayo、CVC-ClinicDB、HMC-QU和CAMUS四个公开数据集，确保了数据的广泛性和代表性。每个视频序列仅需第一帧的标注，后续帧的标注通过模型自动生成，显著降低了人工标注的负担。

特点

该数据集的特点在于其多样性和多源性，涵盖了多种医疗影像模态和不同解剖结构，能够有效支持医学视频对象分割任务。数据集中的视频序列具有丰富的动态信息，能够捕捉到病变区域的时空变化。此外，数据集的设计特别强调了对未见类别的泛化能力，使其能够应用于新的解剖结构或病变的分割任务。

使用方法

该数据集的使用方法主要围绕一次性医学视频对象分割任务展开。用户只需提供第一帧的标注，模型即可通过时间对比记忆网络自动生成后续帧的分割结果。该方法不仅适用于已知类别的分割，还能够泛化到未见类别的分割任务中。实验表明，该数据集在多种评估指标上均表现出色，能够显著减少医学视频分析的标注工作量。

背景与挑战

背景概述

在医学影像分析领域，视频对象分割技术对于复杂医学视频数据的高效处理至关重要。2025年，武汉理工大学、上海人工智能实验室、MedAI Technology（无锡）有限公司以及慕尼黑工业大学的研究团队共同提出了一个多样性的多源医疗视频数据集，旨在解决医学视频对象分割中的关键问题。该数据集涵盖了多种模态和解剖结构，包括结肠镜和心脏超声视频，数据来源包括ASU-Mayo、CVC-ClinicDB、HMC-QU和CAMUS等公开数据集。通过引入一次性医学视频对象分割任务，该数据集为医学视频分析中的标注负担提供了潜在的解决方案，推动了医学影像分析领域的发展。

当前挑战

该数据集面临的主要挑战包括两个方面。首先，医学视频对象分割任务本身具有较高的复杂性，尤其是在仅提供第一帧标注的情况下，如何准确分割视频中的前景和背景像素成为核心难题。其次，数据集的构建过程中，医学视频数据的获取和标注成本极高，依赖领域专家的参与，且标注过程耗时耗力。此外，医学视频数据的多样性和复杂性也增加了模型泛化的难度，尤其是在面对未见过的解剖结构或病变时，模型的表现仍需进一步提升。这些挑战促使研究者开发了基于时间对比记忆网络的创新方法，以更好地捕捉视频帧间的动态关系，从而提升分割精度。

常用场景

经典使用场景

该数据集在医学视频对象分割领域具有广泛的应用，尤其是在一次学习（one-shot learning）场景中。通过仅提供第一帧的标注，模型能够自动分割视频中的前景和背景，显著减少了医学视频分析中对大量标注数据的依赖。这一特性使得该数据集成为医学影像分析中解决标注负担问题的关键工具。

实际应用

在实际应用中，该数据集为医学视频的自动化分析提供了强有力的支持。例如，在结肠镜检查和心脏超声检查中，医生可以通过该数据集训练的模型快速定位和分割病变区域，辅助诊断和治疗决策。此外，该数据集还可用于开发智能医学视频标注工具，大幅减少临床医生的标注工作量，提升工作效率。

衍生相关工作

该数据集的发布推动了医学视频对象分割领域的多项经典工作。例如，基于时间对比记忆网络的研究进一步优化了视频帧间的特征存储与检索机制，提升了分割精度。此外，该数据集还激发了针对多模态医学视频分析的研究，推动了跨模态数据融合技术的发展，为医学影像分析提供了新的研究方向。