MultiBypass-4C-T40

MultiBypass-4C-T40是一个专为Roux-en-Y胃旁路手术设计的多中心密集手术动作三元组识别数据集，由多个欧洲研究机构联合创建。该数据集包含来自四个地理分布中心的腹腔镜手术视频，并伴有阶段和步骤层级标注，但未公开具体视频数量或帧数。数据集的构建过程涉及从不同医院收集手术视频，并对每个帧进行精细的⟨器械, 动作, 目标⟩三元组标注，以捕捉器械-组织交互的细微差异。该数据集旨在评估手术动作三元组识别模型在跨中心场景下的泛化能力，解决现有基准无法系统衡量机构间变异影响的问题，为安全监控、不良事件识别和技能评估等下游应用提供可靠测试平台。MultiBypass-4C-T40 is a multi-center dense surgical action triplet recognition dataset specifically designed for Roux-en-Y gastric bypass surgery, jointly developed by multiple European research institutions. This dataset contains laparoscopic surgical videos from four geographically distributed centers, accompanied by phase and step-level annotations, while the exact number of videos and frames is not publicly disclosed. The dataset construction process involves collecting surgical videos from various hospitals and performing fine-grained ⟨instrument, action, target⟩ triplet annotations on each frame, to capture subtle differences in instrument-tissue interactions. It aims to evaluate the generalization ability of surgical action triplet recognition models in cross-center scenarios, addressing the limitation that existing benchmarks cannot systematically measure the impact of inter-institutional variability, and providing a reliable test platform for downstream applications such as safety monitoring, adverse event recognition and skill assessment.

搜集汇总

数据集介绍

构建方式

MultiBypass-4C-T40数据集是一项多中心精细手术动作三元组识别基准，旨在填补现有基准在机构间泛化评估上的空白。该数据集整合了来自法国斯特拉斯堡、瑞士伯尔尼、巴塞尔及苏黎世四个地理分布迥异的医学中心的手术视频，围绕Roux-en-Y胃旁路术这一复杂腹腔镜手术展开。在构建过程中，研究团队采用了基于事件感知的时序标注协议，由外科专家识别交互顶点，并向前后扩展约3秒以形成完整的动作间隔。随后，通过多阶段标签整合策略，将初始的212个原始三元组标签经专家裁决与临床相关性评估，最终精简为包含12种器械、13种动词和15种靶组织的85个动作三元组类别，同时保留了阶段和步骤级别的层级标注，为多层次手术工作流分析提供了结构化的数据支撑。

特点

MultiBypass-4C-T40数据集在多个维度上展现出显著的独特性。它跨越四个医疗中心，真实反映了设备差异、术者风格及组织处理方式等多源异质性，在密集标注层面提供了42万余个动作三元组实例，远超现有同类基准。数据分布呈现显著的长尾特征，既包含高频的抓取和缝合动作，也涵盖低频但临床意义重大的交互，为模型鲁棒性评估设置了严苛挑战。此外，数据集集成了阶段、步骤和三元组三类层级标签，构建了从粗粒度到细粒度的统一分析框架。在评估设计上，数据集首创性地引入了挑战性分割，包含对未见过中心的隐藏测试集，使研究者能够系统探究跨机构部署时的性能退化问题。这种层级丰富、跨中心异质且分布自然的特性，使其成为检验手术场景理解模型泛化能力的理想试验场。

使用方法

在使用MultiBypass-4C-T40时，研究者可依据研究目标选择三种互补的评估协议：全中心固定划分适用于标准性能基准测试，交叉验证方案用于检验模型对数据划分的稳健性，而挑战分割则聚焦于跨中心泛化能力的严格测评。数据预处理遵循统一的1 FPS帧提取与480p分辨率标准化流程，并可将注释按组件分解为器械、动词、靶组织及对级标签，以支持多层次监督学习。在模型应用上，该数据集为开发显式关系推理框架提供了平台，例如SPIRIT方法通过三元组建模解耦与图推理来提升跨中心迁移能力。评估指标采用多标签平均精度（mAP）及Hit@k指标，能够细致刻画模型在稀有类别和常见类别上的表现差异。最终，该基准不仅服务于算法比较，更推动手术AI向更可靠、更具临床适用性的方向发展。

背景与挑战

背景概述

MultiBypass-4C-T40数据集由法国斯特拉斯堡大学、瑞士伯尔尼大学医院、巴塞尔大学医院及苏黎世大学医院等四家 geographically 独立机构的研究人员于2026年联合创建，旨在解决胃旁路手术（Roux-en-Y gastric bypass）中手术动作三元组（instrument-verb-target）识别的多中心泛化问题。该数据集共包含40段手术视频，标注了85类精细动作三元组及对应的阶段和步骤标签，总计超过42万条实例，是首个专门用于评估手术动作三元组识别跨中心迁移性能的基准。其核心研究问题在于：当模型面对不同医疗机构的采集条件、术者风格和手术操作差异时，能否保持对器械-组织交互语义的可靠识别。该数据集弥补了现有基准如CholecT50和MultiBypass140在中心多样性和三元组级别标注上的不足，为手术数据科学领域提供了关键的评估平台，推动了细粒度手术理解向更稳健的临床部署迈进。

当前挑战

MultiBypass-4C-T40数据集面临的挑战主要来自两方面。在领域问题层面，手术动作三元组识别需在高度复杂且动态的手术场景中精确区分器械、动作和目标，尤其在胃旁路手术中，相似视觉外观的动作（如夹持与分离）可能语义迥异，且各中心在成像系统、器械偏好和组织处理方式上的差异导致严重的域偏移，使得模型难以泛化至未见机构。在数据集构建层面，注释过程面临多重困难：手术动作是时间上连续的事件，需在帧级别精确定义起止时刻，这要求注释者经过专业培训并遵循严格的临时注释协议；标签协商与合并需跨中心协调，以剔除如静态牵拉肝脏等临床信息量低的交互，同时保留长尾分布中的罕见三元组，最终将212个原始标签精简至85个有效类别，这一过程耗时费力且需临床专家深度参与。此外，数据集的类别不平衡问题显著，少数高频交互占据大量样本，而多数稀有模式仅出现极少量次数，为模型学习带来了额外挑战。

常用场景

经典使用场景

MultiBypass-4C-T40数据集作为首个面向多中心医疗场景的精细手术动作三元组识别基准，其核心用途在于评估和推动手术视频理解模型在跨机构分布漂移下的泛化能力。该数据集覆盖了来自四个地理上不同医疗中心、包含85类动作三元组的Roux-en-Y胃旁路手术视频，并附带手术阶段与步骤的层级标注，为精细手术活动理解提供了标准化的评测协议。研究者在统一的帧级别多标签分类框架下，可以系统性地检验模型在标准多中心划分、交叉验证以及极具挑战性的未见中心迁移等三种评测设置上的表现，从而深入探究手术场景中工具-组织交互的时空关系建模。

解决学术问题

该数据集有效填补了现有手术动作三元组基准在跨中心泛化评估上的关键空白，解决了此前无法严格验证模型对机构间成像条件、术者风格、器械使用及组织处理差异鲁棒性的学术难题。它促使研究者将手术活动理解从粗粒度的阶段和步骤识别推进到更为精细的交互层面，并催生了像SPIRIT这样的结构化建模框架，通过显式学习工具-目标交互与工具-动词可供性关系，再经由图推理完成三元组组合，显著提升了在中心和未见中心转移场景下的识别精度与稳定性。这一基准的建立不仅推动了精细手术场景理解研究的方法论革新，也为手术数据科学提供了更贴近临床实际的研究范式，具有重要的理论与实践意义。

衍生相关工作

该数据集的发布催生了多种相关研究，既包括针对其多中心特性的基准评测与模型优化工作，也延伸至更广泛的手术视频理解领域。例如，SPIRIT框架本身即为一种衍生工作，其提出的三元组分解与关系图推理机制，启发了后续对手术动作结构建模的深入探索。此外，该数据集亦可能被用作预训练或域适应的数据源，与其他单中心数据集（如CholecT50）共同推动跨术式、跨机构的泛化研究；其层级标注（阶段、步骤、三元组）也使得分层工作流分析成为可能，促进了手术AI从粗粒度到细粒度的统一理解。围绕该基准，还可能出现新的模型架构、损失函数设计以及针对长尾分布和类别不平衡的专门方法，进一步丰富手术数据科学的方法论分支。