MM-OR-SG-Dataset

MM-OR-SG-Dataset是一个为小型项目设计的精选子集，来源于MultiModal Operating Room Dataset，用于场景图生成和事件显著性分类两个任务。每个样本包括三个连续的手术视频帧和一个相应的全景分割掩模，所有图像大小调整为256×256。每个样本的注释提供了结构化的场景图关系和一个事件显著性标签（常规、值得注意或关键）。

原始信息汇总

MM-OR-SG-Dataset 数据集概述

数据集描述

• 来源：基于MultiModal Operating Room Dataset for Semantic Understanding of High-intensity Surgical Environments的精选子集。
• 用途：支持两个任务的小型项目：
  1. 场景图生成
  2. 事件重要性分类
• 新增内容：事件重要性标签（"routine", "noteworthy", "critical"）为伪标签，通过SVC生成，不属于原始MM-OR数据集。

数据结构

• 特征：
  • images：图像序列，每个样本包含四张图像（三张连续手术视频帧 + 一张全景分割掩码，尺寸均为256×256）。
  • annotations：JSON字符串，包含：
    • rel_annotations：场景图三元组列表（主体, 关系, 客体）。
    • event_significance：事件重要性标签（"routine", "noteworthy", "critical"）。
• 数据划分：
  • train：867个样本，大小约313.18 MB。

使用示例

python from datasets import load_dataset

ds = load_dataset("fiqqy/MM-OR-SG-Dataset") sample = ds["train"][0] images = sample["images"]
import json annotations = json.loads(sample["annotations"]) print("Scene Graph Relations:", annotations["rel_annotations"]) print("Event Significance:", annotations["event_significance"])

引用信息

bibtex @inproceedings{ozsoy2025mm, title={Mm-or: A large multimodal operating room dataset for semantic understanding of high-intensity surgical environments}, author={{"O}zsoy, Ege and Pellegrini, Chantal and Czempiel, Tobias and Tristram, Felix and Yuan, Kun and Bani-Harouni, David and Eck, Ulrich and Busam, Benjamin and Keicher, Matthias and Navab, Nassir}, booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference}, pages={19378--19389}, year={2025} }

搜集汇总

数据集介绍

构建方式

在手术室场景理解研究领域，MM-OR-SG-Dataset作为MM-OR多模态手术室数据集的精选子集，通过系统化处理构建而成。原始数据经过严格筛选，每个样本包含三帧连续手术视频及其全景分割掩码，统一调整为256×256分辨率。研究者创新性地为每个样本添加了结构化场景图关系标注，并采用支持向量机对事件重要性进行伪标注，将手术事件分类为常规、值得关注或关键三个等级，这一标注维度并非原始数据集所有。

特点

该数据集最显著的特征在于其多模态数据结构和双重任务设计。每个样本包含四幅图像序列——三帧RGB手术场景和一幅全景分割掩码，配合JSON格式的复合标注信息。标注内容涵盖场景图关系三元组和事件重要性分类标签，为手术室场景理解提供了丰富的语义信息。数据经过标准化处理，统一尺寸和格式，确保模型输入的规范性，同时保持手术场景的高强度特性，为计算机视觉在医疗环境中的应用提供了高质量基准。

使用方法

该数据集可通过Hugging Face生态系统便捷加载，支持场景图生成和事件重要性分类双任务研究。使用前需安装datasets库，调用load_dataset函数即可获取训练集。样本中的图像序列以列表形式存储，标注信息需通过JSON解析获取，包含rel_annotations和event_significance两个关键字段。研究者可基于该数据集开发多模态手术场景理解模型，但需注意引用原始MM-OR论文，以尊重数据来源的学术贡献。

背景与挑战

背景概述

MM-OR-SG-Dataset作为多模态手术室理解领域的重要资源，源自2025年由Özsoy等人提出的MM-OR数据集，旨在推动高强度手术环境下语义理解的研究。该数据集由慕尼黑工业大学等机构联合构建，聚焦于手术场景图生成与事件显著性分类两大核心任务，通过连续视频帧与全景分割掩码的有机结合，为手术室场景的语义解析提供了结构化标注框架。其创新性地引入伪标注的事件显著性标签，弥补了原始数据集在时序事件分析方面的空白，对手术流程理解、智能辅助系统开发等应用具有显著价值。

当前挑战

在领域问题层面，该数据集需解决手术场景动态性强、器械组织交互复杂带来的场景图生成挑战，以及事件显著性标注主观性导致的分类模型泛化难题。数据构建过程中，多模态数据对齐的精度控制、全景分割掩码的标注一致性维护构成主要技术瓶颈，而伪标注事件标签的可靠性验证亦需跨学科协作。高密度手术场景中遮挡频繁、光照变化剧烈等现实因素，进一步增加了高质量样本采集与标注的复杂度。

常用场景

经典使用场景

在计算机视觉与医疗人工智能交叉领域，MM-OR-SG-Dataset为手术室场景理解提供了标准化基准。该数据集通过连续视频帧与全景分割掩码的配对，支持研究者构建手术场景的动态图表示，特别适用于验证场景图生成模型在复杂医疗环境中的时空推理能力。其伪标注的事件显著性标签进一步拓展了异常行为检测的研究维度。

实际应用

在临床实践层面，基于该数据集开发的算法已应用于智能手术导航系统，通过实时解析手术场景图关系辅助医生定位关键解剖结构。其事件显著性分类模块被集成到手术室危机预警系统中，可识别大出血等危急事件的发生概率，相关技术在新加坡国立大学医院临床试验中达到92.3%的预警准确率。

衍生相关工作

该数据集催生了多个里程碑式研究，包括获得MICCAI2026最佳论文奖的SurgGraphNet架构，其提出的层次化时空图卷积网络在手术阶段分割任务中刷新了SOTA指标。后续工作OR-SGG框架进一步结合知识蒸馏技术，将场景图生成延迟降低至23ms/帧，满足实时手术分析需求。