ROBUST-MIPS

ROBUST-MIPS数据集是从ROBUST-MIS数据集中衍生出来的，旨在为腹腔镜手术器械的姿态估计和实例分割提供更丰富的数据。该数据集包含了从30个结直肠手术过程中提取的10040个腹腔镜帧，每个帧都提供了像素级的实例分割掩码，指示手术器械。数据集支持多种任务，包括二元分割、多实例检测和多实例分割，并分为训练集和测试集，以便在不断增加的领域变化下进行评估。数据集的组织结构如图1所示，包括文件和文件夹的详细划分策略，以方便访问算法性能。特别是，测试集被分为三个阶段，反映了不断升级的领域差距。

The ROBUST-MIPS dataset is derived from the ROBUST-MIS dataset, aiming to provide richer data for laparoscopic surgical instrument pose estimation and instance segmentation. This dataset contains 10,040 laparoscopic frames extracted from 30 colorectal surgical procedures, with each frame providing pixel-level instance segmentation masks that identify surgical instruments. The dataset supports multiple tasks including binary segmentation, multi-instance detection and multi-instance segmentation, and is split into training and test sets to enable evaluation under growing domain shifts. The organizational structure of the dataset is shown in Figure 1, including detailed partitioning strategies for files and folders to facilitate access and algorithm performance assessment. In particular, the test set is divided into three stages, reflecting steadily growing domain gaps.

搜集汇总

数据集介绍

构建方式

在计算机辅助手术领域，ROBUST-MIPS数据集通过扩展ROBUST-MIS数据集构建而成，其核心创新在于引入骨骼姿态标注方法。该数据集从30例结直肠手术视频中提取10,040帧腹腔镜图像，采用四类关键点（入口点、铰接点、尖端1/尖端2）统一标注各类手术器械。标注过程依托定制化开源软件实现手动精细化标注，每个关键点均记录坐标及可见性状态，并通过双重质量审核确保标注一致性。这种标注策略在保留丰富语义信息的同时显著提升了标注效率。

特点

该数据集在手术工具定位领域具有显著特性，其骨骼姿态标注能精准捕捉器械的结构信息与空间关系。通过统一的关键点体系兼容关节式与刚性器械，并针对器械开合状态、局部可见等复杂场景设计动态标注规则。数据集涵盖出血、烟雾、器械遮挡等真实手术环境挑战，同时提供与实例分割标注的并行对照。特别设计的边界框生成算法与改进的评估指标，有效解决了手术器械长宽比极端变化带来的技术难题。

使用方法

研究人员可通过公开平台获取该数据集，其文件结构包含原始图像、实例分割掩码及关键点标注文件。数据集已转换为兼容COCO格式的JSON文件，支持主流姿态估计框架的直接调用。为验证数据集效用，研究团队建立了基于RTMPose、SimpleBaseLine等模型的基准测试体系，并针对手术器械特点改进了OKS评估指标。使用者既可开展骨骼姿态估计研究，也可通过对比实例分割标注探索多任务学习，数据集的分阶段划分方案更为模型泛化能力评估提供系统化支持。

背景与挑战

背景概述

ROBUST-MIPS数据集由伦敦国王学院生物医学工程与影像科学学院的研究团队于2025年创建，旨在推动计算机辅助干预技术中手术器械定位研究的发展。该数据集基于已有的ROBUST-MIS数据集，通过引入骨骼姿态标注方法，为10,040张腹腔镜手术图像提供了工具实例分割与姿态联合标注。其核心研究问题聚焦于解决传统语义分割标注效率低下的局限性，通过平衡语义信息丰富度与标注便捷性，为手术工具定位任务提供更高效的标注范式。这一创新显著提升了数据标注的扩展能力，并为手术场景理解、安全分析等下游应用奠定了坚实基础。

当前挑战

在领域问题层面，ROBUST-MIPS致力于应对手术器械姿态估计中的关键挑战，包括器械形变、相互遮挡、光照变化及部分可见等复杂手术环境下的定位难题。构建过程中，研究团队需克服标注一致性问题，例如处理关节器械与刚性器械的关键点定义差异，以及应对器械闭合状态、仅轴部可见等特殊场景的标注规则统一。此外，数据集中所有工具被归为单一类别，缺乏细粒度器械分类，限制了模型在多样化手术场景中的泛化能力。

常用场景

经典使用场景

在计算机辅助介入技术领域，ROBUST-MIPS数据集主要应用于手术器械姿态估计的深度学习模型训练与验证。该数据集通过骨骼关键点标注方式，为手术器械的定位提供了精确的结构化表示，支持从简单的基础网络到复杂视觉变换器等多种架构的性能评估。其标注方案巧妙平衡了语义丰富性与标注效率，使得模型能够准确识别手术器械的入口点、铰链点和尖端等关键部位，为手术场景理解奠定了坚实基础。

实际应用

在临床实践中，ROBUST-MIPS数据集支撑的手术器械定位技术可应用于实时手术导航系统。通过精确追踪器械姿态，系统能够为外科医生提供器械位置反馈，辅助完成复杂手术操作。该技术还可集成于自动化内窥镜控制系统中，根据器械运动智能调整视野范围。在手术培训领域，基于该数据集的模型能够实时分析学员操作技巧，为技能评估提供量化指标，提升医疗培训的标准化水平。

衍生相关工作

该数据集催生了多项重要的衍生研究，包括基于RTMPose、SimpleBaseLine和ViTPose等姿态估计架构的基准模型开发。这些工作验证了骨骼姿态标注在手术器械定位任务中的有效性，并为后续研究提供了性能参照。同时，数据集推动了专用评估指标的改进，如针对手术器械尖端对称性设计的改进型OKS度量方法。相关研究还探索了多模态数据融合策略，将姿态估计与实例分割任务相结合，拓展了手术场景分析的维度。