SurgiSR4K

SurgiSR4K是一个原生4K分辨率（3840×2160像素）的内窥镜视频数据集，专为机器人辅助的微创手术设计。它包含了真实的机器人辅助腹腔镜手术场景，支持多种具有挑战性的条件，如镜面反射、工具遮挡、出血、烟雾、组织变形等。数据集支持超分辨率、工具检测、深度估计、分割等多种任务。

SurgiSR4K is a native 4K resolution (3840×2160 pixels) endoscopic video dataset designed specifically for robot-assisted minimally invasive surgery. It contains authentic robot-assisted laparoscopic surgery scenarios, and supports various challenging conditions such as specular reflection, tool occlusion, bleeding, smoke, tissue deformation, etc. The dataset supports multiple tasks including super-resolution, tool detection, depth estimation, segmentation, and more.

原始信息汇总

SurgiSR4K数据集概述

数据集基本信息

• 名称: SurgiSR4K
• 类型: 高分辨率内窥镜视频数据集
• 分辨率: 原生4K (3840×2160像素)
• 应用领域: 机器人辅助微创手术(MIS)的计算机视觉研究
• 许可证: CC BY-NC 4.0
• 论文: SurgiSR4K: A High-Resolution Endoscopic Video Dataset for Robotic-Assisted Minimally Invasive Procedures

数据集特点

• 高分辨率: 所有视频以3840×2160像素原生4K分辨率捕获
• 真实场景: 真实的机器人辅助腹腔镜手术场景
• 多样化挑战条件: 包含镜面反射、工具遮挡、出血、烟雾和组织变形等复杂情况
• 多任务支持: 支持超分辨率、器械检测、深度估计、分割等多种任务

数据集结构

SurgiSR4K/ ├── LICENSE ├── README.md ├── docs/ │ └── DATASET_ORGANIZATION.md ├── data/ │ ├── images/ │ │ ├── 3840x2160p/ # 4K分辨率帧(ground truth) │ │ ├── 960x540p/ # 中等分辨率帧 │ │ └── 480x270p/ # 低分辨率帧(输入) │ └── videos/ │ └── 3840x2160_30fps/ # 30FPS的4K源视频 ├── scripts/ │ ├── split.py └── ...

数据规格

• 分辨率级别: 480×270p, 960×540p, 3840×2160p
• 工具类别: 1tool, 2tool, 3tool, 4tool(复杂度指示器)
• 命名模式: vid_{ID}_{resolution}_{tool}_{frame}.png
• 总帧数: 2,400(25个视频中每个分辨率800帧)

主要任务

• 超分辨率(SR):
  • 输入: 低分辨率帧(480p, 960p, 1080p)
  • 目标: 原生4K分辨率帧
  • 评估指标: PSNR, SSIM, LPIPS和感知质量指标

下游应用

1. 实例分割
2. 手术工具检测(带边界框)
3. 深度估计
4. 工具分割
5. 3D重建

下载信息

• 下载链接: https://www.synapse.org/SurgiSR4K

引用格式

bibtex @article{jiang2025surgisr4k, author = {Fengyi Jiang and Xiaorui Zhang and Lingbo Jin and Ruixing Liang and Yuxin Chen and Adi Chola Venkatesh and Jason Culman and Tiantian Wu and Lirong Shao and Wenqing Sun and Cong Gao and Hallie McNamara and Jingpei Lu and Omid Mohareri}, title = {SurgiSR4K: A High‐Resolution Endoscopic Video Dataset for Robotic‐Assisted Minimally Invasive Procedures}, journal = {arXiv preprint arXiv:2507.00209}, year = {2025}, volume = {2507.00209}, doi = {10.48550/arXiv.2507.00209}, url = {https://arxiv.org/abs/2507.00209} }

联系方式

• 主要联系人: Fengyi Jiang ([e-mail])
• 数据集咨询: [e-mail]

搜集汇总

数据集介绍

构建方式

在微创手术领域，高分辨率影像数据对于提升计算机视觉算法的精度至关重要。SurgiSR4K数据集通过专业医疗设备采集真实机器人辅助腹腔镜手术过程，采用双摄像头同步捕获技术，同时获取1080p和4K分辨率影像。数据采集严格遵循临床规范，涵盖25段手术视频及其对应的2400帧图像，按照480×270p、960×540p和3840×2160p三种分辨率层级进行系统化整理，并依据手术器械复杂度（1-4种工具）进行分类标注。

特点

作为首个公开的4K分辨率手术影像数据集，SurgiSR4K以3840×2160像素的原始画质呈现真实手术场景，包含器械遮挡、组织形变等典型术中挑战。数据集创新性地提供多分辨率配对样本，支持从480p低清输入到4K超分的跨尺度研究。其价值在于完整保留手术特有的光学特性如镜面反射、烟雾干扰等，为器械检测、深度估计等多元任务提供高保真基准。

使用方法

研究者可通过Synapse平台获取经去标识化处理的原始数据，建议按照官方文档建议的train-val-test划分比例进行模型开发。数据使用需遵循CC-BY-NC-4.0许可协议，主要应用于超分辨率重建任务时，应以4K影像作为ground truth，配合PSNR/SSIM等指标评估算法性能。对于下游任务如器械分割，可利用预标注的工具复杂度标签进行迁移学习，但需注意临床应用中应通过伦理审查。

背景与挑战

背景概述

SurgiSR4K数据集由Intuitive Surgical, Inc.联合约翰霍普金斯大学等机构于2025年推出，是首个公开可获取的4K分辨率（3840×2160）内窥镜手术视频数据集，专为机器人辅助微创手术（MIS）设计。该数据集填补了高分辨率手术影像数据的空白，为医学机器人领域的计算机视觉研究提供了重要资源。其核心研究问题聚焦于如何利用超高分辨率视频提升手术场景理解、器械追踪和组织形态分析等关键任务的性能，对推动手术导航、术中决策支持等临床应用具有显著意义。

当前挑战

在领域问题层面，SurgiSR4K需解决手术场景特有的复杂挑战：包括器械反光、组织遮挡、出血干扰等动态噪声对超分辨率重建的影响，以及多工具交互场景下的细粒度语义分割难题。数据构建过程中，研究团队面临4K视频采集的硬件同步、患者隐私脱敏处理，以及真实手术场景中不可控变量（如烟雾、液体干扰）的标准化记录等工程技术挑战。此外，保持不同分辨率层级间时空对齐的精确性，以及标注跨模态手术工具特征的复杂性，均为数据集构建的关键难点。

常用场景

经典使用场景

在微创手术机器人辅助系统的研究中，SurgiSR4K数据集因其原生4K分辨率特性，成为验证超分辨率算法的黄金标准。该数据集通过提供3840×2160像素的高清内窥镜视频，使研究者能够精确模拟从低分辨率输入到高保真输出的重建过程，尤其在处理手术场景中的器械遮挡、组织形变等复杂情况时展现出独特价值。

衍生相关工作

基于该数据集衍生的SAM 2模型实现了内窥镜图像的实例分割突破，其工具分割mAP达到0.87。Visual-RFT框架利用其多分辨率特性开发了手术场景的强化学习环境，而DepthPro算法则通过该数据验证了单目深度估计在腹腔镜中的可行性，相关成果发表于CVPR 2025等顶会。

数据集最近研究

最新研究方向

在微创手术机器人辅助领域，SurgiSR4K数据集以其原生4K分辨率特性，正推动着计算机视觉技术的边界拓展。该数据集不仅为超分辨率重建算法提供了前所未有的高精度基准，更在手术器械检测、深度估计和组织分割等关键任务中展现出独特价值。近期研究热点集中于如何利用深度学习模型从低分辨率输入中恢复手术场景的微观细节，这对于提升远程手术的视觉反馈质量具有革命性意义。随着SAM等通用分割模型的演进，该数据集正在催生新一代面向手术场景的专用视觉算法，其多分辨率特性为模型泛化能力研究提供了理想实验平台。