A-Eval

A-Eval数据集是由上海交通大学和上海人工智能实验室联合创建，旨在评估腹部多器官分割模型的跨数据集泛化能力。该数据集整合了四个大型公共数据集（FLARE22, AMOS, WORD, TotalSegmentator）的训练集，以及BTCV数据集的训练集，总计包含1432个标记的CT图像和2000个未标记的CT图像，涵盖多种器官和疾病类型。数据集创建过程中，采用了多种数据处理和模型训练策略，以确保模型的泛化能力。A-Eval数据集主要用于解决模型在不同数据集上的泛化问题，特别是在医疗影像分析领域，提高模型的可靠性和准确性。

The A-Eval dataset was jointly developed by Shanghai Jiao Tong University and Shanghai AI Laboratory, with the primary goal of evaluating the cross-dataset generalization performance of abdominal multi-organ segmentation models. It integrates the training splits of four large-scale public datasets (FLARE22, AMOS, WORD, and TotalSegmentator) as well as the training set of the BTCV dataset. In total, the dataset contains 1432 labeled CT images and 2000 unlabeled CT images, covering a wide range of organs and disease categories. During the construction of A-Eval, multiple data processing and model training strategies were employed to ensure the generalization capability of the models. The A-Eval dataset is mainly designed to tackle the cross-dataset generalization problem of models, particularly in the field of medical image analysis, to enhance the reliability and accuracy of such models.

搜集汇总

数据集介绍

构建方式

A-Eval基准数据集旨在评估腹部多器官分割模型在跨数据集场景下的泛化能力。其构建过程整合了四个大规模公开数据集的官方训练集，包括FLARE22、AMOS、WORD和TotalSegmentator，这些数据集提供了丰富的腹部多器官标注。为确保评估的全面性与多样性，测试集由上述四个数据集的官方验证集以及BTCV数据集的训练集共同组成，从而形成了一个涵盖五个独特数据集的稳健评估框架。通过这种设计，A-Eval能够系统性地衡量模型在不同数据分布下的表现。

特点

A-Eval的核心特点在于其专注于跨数据集泛化性的标准化评估，突破了传统单数据集评测的局限。该基准精选了来自北美、欧洲和亚洲的多种影像模态（CT与MR）及不同疾病谱的数据，反映了真实临床场景中的域偏移挑战。评估指标采用Dice相似系数和归一化表面Dice，从重叠精度与边界一致性两个维度全面量化模型性能。此外，A-Eval统一了所有数据集共享的八个腹部器官类别（如肝脏、脾脏、胰腺等），确保了跨数据集比较的公平性与一致性。

使用方法

A-Eval提供了四种典型的数据使用协议以模拟现实应用场景：独立训练（在单一数据集上训练并测试所有数据集）、利用伪标签（结合FLARE22中大量未标记数据进行半监督学习）、多模态训练（探索AMOS数据集中CT与MR图像的混合训练效果）以及联合训练（整合所有可用数据集进行统一建模）。研究人员可基于STU-Net等标准架构，遵循nnU-Net的预处理与训练流程，通过调整模型规模与数据策略，深入探究数据多样性与模型容量对泛化能力的影响。

背景与挑战

背景概述

腹部多器官分割是医学影像分析中的关键任务，对于腹部肿瘤的诊断与治疗具有重要意义。然而，早期研究受限于数据集规模较小、器官类别单一，模型泛化能力不足。近年来，FLARE22、AMOS、WORD、TotalSegmentator等大规模数据集的涌现，为深度学习模型的训练提供了丰富资源。然而，这些数据集在成像协议、疾病分布、图像特征及标注标准上存在显著差异，导致模型在跨数据集场景下的泛化性能难以保障。为系统评估这一问题，上海交通大学与上海人工智能实验室的研究人员于2023年提出了A-Eval基准，该基准整合了五个代表性数据集，聚焦于跨数据集泛化能力的标准化评估，为腹部多器官分割领域提供了重要研究平台。

当前挑战

A-Eval面临的挑战主要体现在两方面。在领域问题上，腹部多器官分割模型常因训练数据局限于单一数据集而难以适应不同来源的影像，具体表现为成像协议差异、疾病谱变化、图像对比度与分辨率不一致，以及标注标准不统一等“域偏移”问题，严重制约模型在真实临床场景中的可靠性。在构建过程中，挑战在于如何从多个大规模数据集中提取共享的八类器官标注，并设计涵盖独立训练、伪标签利用、多模态联合及跨数据集联合训练等多种协议的系统性评估框架，同时确保模型架构、预处理流程与评价指标的统一，以实现公平且全面的泛化能力度量。

常用场景

经典使用场景

在腹部多器官分割领域，深度学习模型的跨数据集泛化能力一直是研究焦点。A-Eval基准测试应运而生，其经典使用场景在于系统评估模型在不同大规模公开数据集（如FLARE22、AMOS、WORD、TotalSegmentator和BTCV）上的泛化性能。通过设计四种数据使用协议——独立数据集训练、伪标签利用未标注数据、多模态数据融合以及多数据集联合训练，A-Eval为研究者提供了一个标准化的评估框架，用以衡量模型在跨域场景下的鲁棒性与稳定性。

解决学术问题

A-Eval解决了腹部多器官分割研究中长期存在的关键学术问题：模型在单一数据集上表现优异，但跨数据集泛化能力未知且缺乏系统性评估。该基准通过整合多中心、多模态、多标注体系的数据，揭示了域偏移（如成像协议差异、疾病分布不均、标注不一致）对模型性能的显著影响。其研究意义在于为数据增强、伪标签策略、多模态学习及联合训练等方法的有效性提供了实证依据，推动了泛化性理论的深化与评估标准的统一。

衍生相关工作

A-Eval的提出催生了一系列衍生研究工作，包括对模型规模与泛化性关系的深入探索（如STU-Net系列从14M到1.4B参数的对比实验），以及基于伪标签迭代优化的半监督学习框架。进一步地，研究者借鉴其跨数据集评估思路，开发了针对特定器官（如肝脏、胰腺）的域适应方法，并推动了标签对齐与类别缺失处理等技术的创新。这些工作共同丰富了腹部医学图像分析的方法论体系，为构建高泛化性、临床可部署的智能分割模型奠定了坚实基础。