SurgeNetXL
收藏资源简介：
SurgeNetXL是由埃因霍温理工大学创建的一个大规模手术视频数据集，包含超过470万帧视频数据，涵盖了23种不同的手术过程。该数据集整合了公开和私有数据源，旨在为手术计算机视觉领域的基础模型训练提供支持。数据集的内容包括从YouTube视频中提取的680小时手术视频，以及来自两家医院的私有手术视频。数据集的创建过程经过严格的质量控制，剔除了非微创手术和体外帧。该数据集的应用领域主要集中在手术计算机视觉，旨在通过自监督学习提升手术视频的语义分割、阶段识别和关键安全视图分类等任务的性能。
SurgeNetXL is a large-scale surgical video dataset developed by Eindhoven University of Technology. It comprises over 4.7 million video frames and covers 23 distinct surgical procedures. This dataset integrates both public and private data sources, with the aim of supporting the training of foundational models in the field of surgical computer vision. Its contents include 680 hours of surgical videos extracted from YouTube, as well as private surgical videos from two hospitals. The dataset was constructed through rigorous quality control, with non-minimally invasive surgical videos and out-of-body frames excluded. Its application domains primarily center on surgical computer vision, targeting the improvement of performance on tasks such as semantic segmentation, phase recognition, and critical safety view classification for surgical videos via self-supervised learning.
数据集概述
数据集名称
SurgeNet
数据集描述
SurgeNet 是一个用于外科计算机视觉的基础模型，旨在通过大规模预训练提升模型在外科手术任务中的表现。该数据集包含超过470万帧视频数据，涵盖了四种外科手术和三个任务（语义分割、阶段识别和关键安全视图分类）。
数据集组成
- SurgeNetXL: 包含所有数据集，总计超过470万帧视频数据。
- SurgeNetSmall: 包含10%的数据（不包括YouTube数据集），总计约26.4万帧。
- SurgeNetPublic: 包含所有公开数据集（不包括YouTube和私有数据集），总计约199.8万帧。
- SurgeNet: 包含所有数据集（不包括YouTube数据集），总计约263.7万帧。
数据集来源
- Cholec80: 76个视频，179,164帧。
- HeiChole: 30个视频，53,427帧。
- hSDB-Chole: 24个视频，18,064帧。
- RAMIE-UMCU: 28个视频，377,287帧。
- ESAD: 28个视频，47,282帧。
- PSI-AVA: 8个视频，73,618帧。
- RARP-AvL: 8个视频，261,516帧。
- DSAD: 32个视频，14,623帧。
- GLENDA: 400个视频，25,682帧。
- LapGyn4: 500个视频，59,616帧。
- MultiBypass140: 140个视频，749,419帧。
- hSDB-Gastric: 24个视频，35,576帧。
- SurgToolLoc2022: 11种不同的RA猪手术，741,516帧。
- YouTube: 3,253个视频，2,074,234帧。
模型
- SurgeNetXL: 基于CaFormer架构，训练50个epoch。
- SurgeNetSmall: 基于CaFormer架构，训练50个epoch。
- SurgeNetCholec: 基于CaFormer架构，训练50个epoch。
- SurgeNetRAMIE: 基于CaFormer架构，训练50个epoch。
- SurgeNetRARP: 基于CaFormer架构，训练50个epoch。
- SurgeNetPublic: 基于CaFormer架构，训练50个epoch。
- SurgeNet: 基于CaFormer架构，训练50个epoch。
- SurgeNet-ConvNextv2: 基于ConvNextv2架构，训练50个epoch。
- SurgeNet-PVTv2: 基于PVTv2架构，训练50个epoch。
结果
- 语义分割: SurgeNetXL相比最佳外科基础模型提升了2.4%。
- 阶段识别: SurgeNetXL相比最佳外科基础模型提升了8.95%。
- 关键安全视图分类: SurgeNetXL相比最佳外科基础模型提升了12.6%。
安装与使用
- 使用Anaconda创建环境并安装依赖。
- 克隆仓库并加载模型。
引用
bibtex @misc{jaspers2025scalingselfsupervisedlearningimproved, title={Scaling up self-supervised learning for improved surgical foundation models}, author={Tim J. M. Jaspers and Ronald L. P. D. de Jong and Yiping Li and Carolus H. J. Kusters and Franciscus H. A. Bakker and Romy C. van Jaarsveld and Gino M. Kuiper and Richard van Hillegersberg and Jelle P. Ruurda and Willem M. Brinkman and Josien P. W. Pluim and Peter H. N. de With and Marcel Breeuwer and Yasmina Al Khalil and Fons van der Sommen}, year={2025}, eprint={2501.09436}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2501.09436}, }
bibtex @inbook{Jaspers2024, title={Exploring the Effect of Dataset Diversity in Self-supervised Learning for Surgical Computer Vision}, ISBN={9783031737480}, ISSN={1611-3349}, url={http://dx.doi.org/10.1007/978-3-031-73748-0_5}, DOI={10.1007/978-3-031-73748-0_5}, booktitle={Data Engineering in Medical Imaging}, publisher={Springer Nature Switzerland}, author={Jaspers, Tim J. M. and de Jong, Ronald L. P. D. and Al Khalil, Yasmina and Zeelenberg, Tijn and Kusters, Carolus H. J. and Li, Yiping and van Jaarsveld, Romy C. and Bakker, Franciscus H. A. and Ruurda, Jelle P. and Brinkman, Willem M. and De With, Peter H. N. and van der Sommen, Fons}, year={2024}, month=oct, pages={43–53} }
- 1Scaling up self-supervised learning for improved surgical foundation models埃因霍温理工大学 · 2025年
