ViTaL

ViTaL数据集是一个包含视觉、表格和语言模态数据的卵巢肿瘤病理识别数据集，包含来自六个病理类别的496名患者的数据。该数据集包含三个子集，分别对应于不同患者数据模态：2216张二维超声图像的视觉数据、496名患者的医学检查的表格数据和496名患者的超声报告的语言数据。ViTaL数据集旨在解决卵巢肿瘤的精确分类问题，而不仅仅是区分良性和恶性。它通过Triplet Hierarchical Offset Attention Mechanism (THOAM)来最小化多模态数据特征融合过程中的损失，从而有效地增强来自不同模态的信息的相关性和互补性。

ViTaL dataset is an ovarian tumor pathological recognition dataset encompassing visual, tabular, and linguistic modal data, with data from 496 patients across six pathological categories. It comprises three subsets corresponding to different patient data modalities: visual data consisting of 2216 two-dimensional ultrasound images, tabular data from medical examinations of the 496 patients, and linguistic data derived from the ultrasound reports of these 496 patients. The ViTaL dataset is designed to tackle the precise classification of ovarian tumors, rather than merely distinguishing between benign and malignant tumors. It minimizes the loss incurred during the feature fusion process of multimodal data via the Triplet Hierarchical Offset Attention Mechanism (THOAM), thus effectively enhancing the relevance and complementarity of information across different modalities.

原始信息汇总

ViTaL数据集概述

数据集基本信息

• 数据集名称：ViTaL (A Multimodality Dataset and Benchmark for Multi-pathological Ovarian Tumor Recognition)
• 数据集类型：多模态医学影像数据集

数据集用途

• 主要用途：用于多病理卵巢肿瘤识别的基准测试和研究

数据集特点

• 多模态数据：包含多种模态的医学影像数据
• 多病理分类：支持多种卵巢肿瘤病理类型的识别任务

相关研究

• 关联论文："ViTaL: A Multimodality Dataset and Benchmark for Multi-pathological Ovarian Tumor Recognition"

搜集汇总

数据集介绍

构建方式

ViTaL数据集通过整合来自496名患者的视觉、表格和语言模态数据构建而成，涵盖了六种不同的卵巢肿瘤病理类别。视觉数据包括2216张二维超声图像，表格数据包含患者的医学检查信息，语言数据则来自496份超声报告。所有数据均来自北京世纪坛医院，采用Mindray Resona 8超声诊断仪采集。数据集构建过程中，医生通过专业软件对图像进行了标注，确保数据的准确性和可靠性。

特点

ViTaL数据集以其多模态性和多病理分类能力脱颖而出。它不仅包含传统的二维超声图像，还整合了患者的临床检查数据和超声报告文本，为卵巢肿瘤的精确分类提供了多维度的信息支持。数据集覆盖了六种具体的卵巢肿瘤类型，包括成熟囊性畸胎瘤、子宫内膜异位囊肿等，为研究提供了丰富的病理多样性。此外，数据集的年龄分布广泛，增强了模型的泛化能力。

使用方法

ViTaL数据集的使用方法涉及多模态数据的融合与分类。研究者可以利用视觉、表格和语言模态的数据，通过ViTaL-Net网络进行特征提取和融合。该网络采用三重层次偏移注意力机制（THOAM）来最小化多模态特征融合过程中的信息损失。具体步骤包括：首先通过MobileNet、TabNet和BERT分别提取图像、表格和文本的特征；然后利用THOAM机制进行特征融合；最后通过线性解码器进行分类。数据预处理包括图像的随机调整大小和裁剪，以及表格数据的归一化和编码处理。

背景与挑战

背景概述

ViTaL数据集是由北京航空航天大学与首都医科大学附属北京世纪坛医院的研究团队于2025年提出的多模态卵巢肿瘤识别基准数据集。该数据集针对卵巢肿瘤这一威胁女性健康的重大疾病，首次整合了二维超声图像（2,216幅）、医学检查表格（496例）和超声报告文本（496例）三种模态数据，覆盖成熟性囊性畸胎瘤、子宫内膜异位囊肿等六种病理类型。作为计算机辅助诊断领域的重要资源，ViTaL突破了传统单模态数据集的局限性，为多病理分类任务提供了首个包含视觉-表格-语言三模态对齐的标准化数据平台，其创新性的Triplet Hierarchical Offset Attention Mechanism（THOAM）特征融合方法在分类准确率上达到85%，显著推动了卵巢肿瘤精准诊断的研究进程。

当前挑战

ViTaL数据集面临的挑战主要体现在两个方面：在领域问题层面，卵巢肿瘤的异质性高、早期症状隐匿，传统单模态影像分析难以区分病理亚型（如高级别浆液性癌与粘液性囊腺瘤），而多模态数据融合存在特征互补性挖掘不足的问题；在构建过程层面，数据采集需协调超声影像、实验室指标和文本报告的跨模态对齐，且部分罕见病理样本（如卵泡膜纤维瘤仅占4.8%）导致类别不平衡。此外，医学文本报告的术语标准化、超声图像中标记符号（如测量线、箭头）的干扰处理，以及跨中心数据共享的伦理合规性，均为数据集构建中的关键技术挑战。

常用场景

经典使用场景

在医学影像分析领域，ViTaL数据集为卵巢肿瘤的多模态识别提供了重要支持。该数据集整合了二维超声图像、医学检查表格数据和超声报告文本，为研究人员提供了一个全面的多模态分析平台。通过结合视觉、表格和语言三种模态数据，ViTaL数据集能够支持深度学习模型从多个角度对卵巢肿瘤进行精确分类，从而超越了传统单一模态分析的局限性。

实际应用

在实际临床应用中，ViTaL数据集为计算机辅助诊断系统提供了重要支持。通过整合超声图像、肿瘤标志物检测结果和临床报告文本，该数据集能够帮助医生更准确地进行卵巢肿瘤的早期诊断和分类。特别是在资源有限的医疗环境中，基于ViTaL开发的自动化诊断工具可以辅助经验不足的医生提高诊断准确性，降低误诊率，从而改善患者预后。

衍生相关工作

ViTaL数据集推动了多个相关研究领域的发展。基于该数据集提出的ViTaL-Net框架已成为多模态医学图像分析的基准模型。后续研究在此基础上开发了多种改进方法，包括更高效的特征提取网络、优化的注意力机制以及针对特定病理类型的分类算法。这些工作不仅扩展了ViTaL数据集的应用范围，也为其他医学图像分析任务提供了可借鉴的技术路线。