Touchstone

Touchstone数据集是由约翰斯·霍普金斯大学等机构创建的一个大规模腹部器官分割基准数据集，包含5195个训练CT扫描和5903个测试CT扫描，来自全球76家医院。数据集内容丰富，涵盖9种腹部器官的体素级标注，旨在评估AI算法在不同分布场景下的性能。数据集的创建过程结合了AI专家和放射科医生的协作，确保标注质量。该数据集主要应用于医学领域的AI算法评估，旨在解决现有基准数据集在分布和规模上的不足，提升AI算法在实际临床应用中的可靠性。The Touchstone Dataset is a large-scale benchmark dataset for abdominal organ segmentation, developed by Johns Hopkins University and other institutions. It comprises 5195 training CT scans and 5903 test CT scans, collected from 76 hospitals across the globe. The dataset includes comprehensive voxel-level annotations for 9 abdominal organs, and is designed to evaluate the performance of AI algorithms across diverse distribution scenarios. Its development involved collaboration between AI experts and radiologists to ensure annotation quality. Primarily applied for AI algorithm evaluation in the medical field, this dataset addresses the limitations of existing benchmark datasets in terms of distribution and scale, and enhances the reliability of AI algorithms in real-world clinical applications.

原始信息汇总

Touchstone Benchmark 数据集概述

数据集简介

Touchstone Benchmark 是一个大规模的医学分割基准数据集，基于来自76家医院的5,195个CT体积进行训练，以及来自额外8家医院的6,933个CT体积进行测试。该数据集邀请AI研究者在其上训练模型，并独立评估这些算法。

数据集版本

• Touchstone 1.0: 基于 AbdomenAtlas1.0Mini 数据集，包含5,195个CT体积。
• Touchstone 2.0: 基于 AbdomenAtlas1.1Mini 数据集，包含9,262个CT体积。

测试集

• JHH数据集: 私有数据集，包含5,172个CT体积。
• TotalSegmentator V2数据集: 公共数据集，包含1,228个CT体积。
• DAP Atlas数据集: 公共数据集，包含533个CT体积。

合作团队

已与14个有影响力的研究团队合作，并持续接受新的提交。

排行榜

总体排行榜

排名	模型	组织	平均DSC	论文	GitHub
🏆	MedNeXt	DKFZ	89.2	arXiv	GitHub
🏆	STU-Net-B	Shanghai AI Lab	89.0	arXiv	GitHub
🏆	MedFormer	Rutgers	89.0	arXiv	GitHub
🏆	nnU-Net ResEncL	DKFZ	88.8	arXiv	GitHub
🏆	UniSeg	NPU	88.8	arXiv	GitHub
🏆	Diff-UNet	HKUST	88.5	arXiv	GitHub
🏆	LHU-Net	UR	88.0	arXiv	GitHub
🏆	NexToU	HIT	87.8	arXiv	GitHub
9	SegVol	BAAI	87.1	arXiv	GitHub
10	U-Net & CLIP	CityU	87.1	arXiv	GitHub
11	Swin UNETR & CLIP	CityU	86.7	arXiv	GitHub
12	Swin UNETR	NVIDIA	80.1	arXiv	GitHub
13	UNesT	NVIDIA	79.1	arXiv	GitHub
14	SAM-Adapter	Duke	73.4	arXiv	GitHub
15	UNETR	NVIDIA	64.4	arXiv	GitHub

细分排行榜

Aorta

排名	模型	组织	DSC	论文	GitHub
🏆	NexToU	HIT	86.4	arXiv	GitHub
2	MedNeXt	DKFZ	83.1	arXiv	GitHub
3	UniSeg	NPU	82.3	arXiv	GitHub
4	STU-Net-B	Shanghai AI Lab	82.1	arXiv	GitHub
5	nnU-Net ResEncL	DKFZ	81.4	arXiv	GitHub
6	Diff-UNet	HKUST	81.2	arXiv	GitHub
7	Swin UNETR	NVIDIA	81.1	arXiv	GitHub
8	SegVol	BAAI	80.2	arXiv	GitHub
9	UNesT	NVIDIA	78.6	arXiv	GitHub
10	Swin UNETR & CLIP	CityU	78.1	arXiv	GitHub
11	U-Net & CLIP	CityU	77.1	arXiv	GitHub
12	SAM-Adapter	Duke	62.8	arXiv	GitHub
13	UNETR	NVIDIA	52.1	arXiv	GitHub

Gallbladder

排名	模型	组织	DSC	论文	GitHub
🏆	STU-Net-B	Shanghai AI Lab	85.5	arXiv	GitHub
🏆	MedNeXt	DKFZ	85.3	arXiv	GitHub
3	nnU-Net ResEncL	DKFZ	84.9	arXiv	GitHub
4	UniSeg	NPU	84.7	arXiv	GitHub
5	Diff-UNet	HKUST	83.8	arXiv	GitHub
6	NexToU	HIT	82.3	arXiv	GitHub
7	U-Net & CLIP	CityU	82.1	arXiv	GitHub
8	Swin UNETR & CLIP	CityU	80.2	arXiv	GitHub
9	SegVol	BAAI	79.3	arXiv	GitHub
10	Swin UNETR	NVIDIA	69.2	arXiv	GitHub
11	UNesT	NVIDIA	62.1	arXiv	GitHub
12	SAM-Adapter	Duke	49.4	arXiv	GitHub
13	UNETR	NVIDIA	43.8	arXiv	GitHub

KidneyL

排名	模型	组织	DSC	论文	GitHub
🏆	Diff-UNet	HKUST	91.9	arXiv	GitHub
2	nnU-Net ResEncL	DKFZ	91.9	arXiv	GitHub
3	STU-Net-B	Shanghai AI Lab	91.9	arXiv	GitHub
4	MedNeXt	DKFZ	91.8	arXiv	GitHub
5	SegVol	BAAI	91.8	arXiv	GitHub
6	UniSeg	NPU	91.5	arXiv	GitHub
7	U-Net & CLIP	CityU	91.1	arXiv	GitHub
8	Swin UNETR & CLIP	CityU	91.0	arXiv	GitHub
9	NexToU	HIT	89.6	arXiv	GitHub
10	SAM-Adapter	Duke	87.3	arXiv	GitHub
11	Swin UNETR	NVIDIA	85.5	arXiv	GitHub
12	UNesT	NVIDIA	85.4	arXiv	GitHub
13	UNETR	NVIDIA	63.7	arXiv	GitHub

KidneyR

排名	模型	组织	DSC	论文	GitHub
🏆	Diff-UNet	HKUST	92.8	arXiv	GitHub
2	nnU-Net ResEncL	DKFZ	92.7	arXiv	GitHub
3	STU-Net-B	Shanghai AI Lab	92.7	arXiv	[GitHub](https://github.com/uni-medical/

搜集汇总

数据集介绍

构建方式

Touchstone数据集的构建方式独具匠心，它集合了来自全球76家医院的5,195个训练CT扫描和11家额外医院的5,903个测试CT扫描。这一数据集的特点在于其多样性，包括对比度增强、疾病状态、人口统计学、图像质量以及扫描仪类型等多种变量。为了确保数据的准确性，训练集的标注由AI专家和放射科医生合作完成，并经过手动修正。测试集则分为公开和专有部分，其中专有部分由放射科医生手动标注，以确保其质量。此外，该数据集的构建还得到了全球14个团队的贡献，这些团队以其在医疗分割领域的创新算法而闻名。

特点

Touchstone数据集的特点主要体现在其规模之大和多样性之广。它涵盖了9种腹部器官的分割，并且测试集的规模远超其他公开的CT扫描数据集。此外，该数据集还提供了详细的元数据信息，包括年龄、性别、种族和诊断等，这为算法的性能分析提供了丰富的视角。更重要的是，Touchstone数据集致力于长期发展，其组织者承诺至少五年内持续举办挑战赛，以促进医疗领域AI算法的创新。

使用方法

使用Touchstone数据集的方法主要包括训练和评估AI算法。首先，研究者可以在AbdomenAtlas 1.0数据集上训练自己的算法。然后，算法的性能将在5,903个CT扫描的测试集上进行评估，这些测试集对于算法的创造者来说是未知的，以防止使用测试数据对超参数进行调整。评估过程中使用了Dice相似性系数（DSC）和归一化表面距离（NSD）等指标，并且所有提交的算法都在同一台计算机上进行评估，以确保评估的一致性。此外，Touchstone还鼓励对现有AI框架进行评估，这些框架更加灵活，可以支持不同的算法。

背景与挑战

背景概述

医学图像分割是人工智能在医疗领域应用的重要方向之一，它对于辅助诊断和治疗决策具有重要意义。然而，现有的医学图像分割算法在临床应用中仍然存在可靠性不足的问题，这主要是因为算法在面对多源、多变的数据时泛化能力较差。为了解决这一问题，Touchstone数据集应运而生。Touchstone是一个大规模的医学图像分割基准数据集，由来自全球76家医院的5,195个CT扫描训练集和11家额外医院的5,903个CT扫描测试集组成。该数据集的特点在于其规模庞大、多样性高，可以有效地评估AI算法在真实世界场景下的表现。Touchstone数据集的创建旨在提供一个公平、大规模、广泛应用的医学AI基准，以促进医学AI算法的创新和应用。

当前挑战

尽管Touchstone数据集为医学图像分割算法的评估提供了一个重要的基准，但仍然面临一些挑战。首先，该数据集的构建过程需要大量的标注工作，而医学数据的标注成本高昂且耗时。其次，Touchstone数据集的测试集是未知的，这要求算法能够在未见过的数据上进行泛化。此外，由于医学图像分割任务的复杂性，不同算法在不同器官上的表现可能存在较大差异，因此需要更精细的评估指标来衡量算法的优劣。最后，随着医学图像分割算法的不断发展和更新，Touchstone数据集需要不断地更新和扩展，以保持其评估的准确性和有效性。

常用场景

经典使用场景

Touchstone数据集主要用于评估和比较医学分割AI算法的性能，尤其是在真实世界场景下的泛化能力。它为研究人员提供了一个大规模、多样化的测试平台，用于检验算法在未知数据集上的表现，从而更好地预测算法在实际临床应用中的表现。

实际应用

Touchstone数据集的实际应用场景包括但不限于医学图像分割、疾病检测和诊断。它可以帮助医生更准确地诊断疾病，从而提高患者的治疗效果。此外，Touchstone数据集还可以用于开发新的医学分割AI算法，推动医学影像学领域的发展。

衍生相关工作

Touchstone数据集的发布引发了一系列相关研究。例如，一些研究人员利用Touchstone数据集评估了不同类型的医学分割AI算法，并提出了改进算法性能的方法。此外，一些研究还利用Touchstone数据集分析了医学分割AI算法在不同人口统计学特征和疾病状态下的表现，为开发更公平、更可靠的AI算法提供了参考。