ORQA

ORQA是一个全面的手术室理解基准数据集，它整合了四个公开的手术室数据集，包括MVOR、4D-OR、EgoSurgery和MM-OR，包含了各种手术室场景的图像、点云、音频和文本数据。数据集包含了23种不同类型的问答对，旨在帮助计算系统更全面地理解手术室环境，提高手术数据科学的研究水平。数据集的创建过程包括数据收集、标注、预处理和问答对的生成。ORQA数据集可用于手术室领域的多任务学习和推理，有助于解决手术室环境下的复杂问题，提高手术操作的精度和安全性。ORQA is a comprehensive benchmark dataset for operating room (OR) understanding. It integrates four publicly available operating room datasets, including MVOR, 4D-OR, EgoSurgery, and MM-OR, and contains images, point clouds, audio, and text data across various operating room scenarios. The dataset encompasses 23 distinct types of question-answer pairs, aiming to help computational systems comprehensively understand operating room environments and advance research in surgical data science. The creation process of the ORQA dataset includes data collection, annotation, preprocessing, and generation of question-answer pairs. The ORQA dataset can be used for multi-task learning and reasoning in the operating room domain, assisting in solving complex problems in operating room settings and improving the accuracy and safety of surgical operations.

搜集汇总

数据集介绍

构建方式

ORQA数据集通过整合四个公开的手术室数据集（MVOR、4D-OR、EgoSurgery和MM-OR），构建了一个全面的多模态问答基准。这些数据集涵盖了视觉、听觉和结构化数据等多种模态，并通过人工标注和自动化生成相结合的方式，生成了23种不同类型的问答对。具体而言，研究团队首先从训练集中生成了1亿个初始问答对，然后通过多样化的采样策略筛选出100万个高质量的训练对，验证集和测试集则分别包含1万个问答对，确保了数据集的多样性和挑战性。

使用方法

使用ORQA数据集时，研究人员可以通过多模态大型语言模型（MLLM）处理各种输入数据，如图像、点云和音频等。模型支持两种提示策略：一是生成结构化答案，便于解析和评估；二是基于场景图的推理，通过生成场景图增强答案的可解释性。此外，渐进式知识蒸馏（PKD）技术允许用户根据实际需求选择不同规模的模型，平衡性能与计算效率。数据集还提供了详细的评估指标（ORQA分数），用于统一衡量模型在各种任务上的表现。通过这种方式，ORQA为手术室智能系统的开发和评估提供了一个标准化、多功能的平台。

背景与挑战

背景概述

ORQA（Operating Room Question Answering）是由德国慕尼黑工业大学计算机辅助医疗程序团队于2025年提出的手术室多模态基础模型与基准测试集，旨在解决传统单任务手术数据分析的局限性。该研究整合了MVOR、4D-OR等四个公开手术数据集，涵盖视觉、听觉、场景图等23类跨模态任务，首次构建了面向全场景手术理解的统一评估框架。通过融合大型语言模型与渐进式知识蒸馏技术，ORQA实现了对手术室动态交互的语义推理，为手术数据科学领域提供了首个可扩展的多任务解决方案，显著推动了术中决策支持系统的发展。

当前挑战

ORQA面临的核心挑战体现在两个维度：领域问题层面，需克服手术场景中器械交互识别、多模态时序对齐、未来状态预测等高复杂度任务，例如'状态预估'类问题准确率仅26%；技术构建层面，处理非结构化临床数据时存在跨中心数据异构性（如达芬奇机器人日志与开放手术视频的融合）、实时推理的算力约束（1.78B参数模型需蒸馏为278M轻量版），以及手术隐私数据导致的标注稀缺问题。此外，场景图生成与三维空间推理的联合优化、零样本跨术式泛化能力等仍需突破。

常用场景

经典使用场景

ORQA数据集作为手术室（OR）领域的综合性基准，主要应用于多模态大语言模型（MLLM）的训练与评估，支持从视觉、听觉到结构化数据的融合分析。其经典场景包括手术阶段识别、器械检测、人员交互分析等任务，通过统一四大公开OR数据集（MVOR、4D-OR、EgoSurgery、MM-OR），为研究者提供了跨任务、跨中心的标准化评估框架。该数据集特别适用于需要理解手术室复杂动态环境的研究，如实时决策支持系统的开发。

解决学术问题

ORQA解决了手术数据科学中长期存在的单任务局限性和泛化能力不足的问题。传统研究如手术阶段识别或场景图生成仅针对特定任务，而ORQA通过整合多模态数据（如RGB-D图像、点云、音频）和23类问答任务，实现了对OR环境的全面建模。其提出的渐进式知识蒸馏（PKD）方法进一步优化了模型部署效率，为资源受限的临床环境提供了可行的解决方案，推动了手术室智能从单一任务向多任务协同理解的范式转变。

实际应用

在实际应用中，ORQA可赋能手术室实时监测与辅助决策系统。例如，通过分析手术器械的空间位置和人员交互，预警无菌操作违规；利用场景图推理解释当前手术动作，为培训提供可视化反馈；其结构化输出还能与医院信息系统集成，自动生成手术报告。在机器人辅助手术中，ORQA的3D检测和状态预测功能可增强机械臂的上下文感知能力，显著提升手术安全性和效率。

数据集最近研究

最新研究方向

在手术室智能建模领域，ORQA数据集的最新研究方向聚焦于构建多模态基础模型以实现对手术室环境的全面理解。该研究通过整合视觉、听觉和结构化数据，突破了传统单任务模型的局限性，为手术室场景下的复杂交互提供了统一的问答基准。前沿探索体现在三个方面：首先，基于场景图的推理机制增强了模型的可解释性，使系统能够准确捕捉手术室内人员、器械与患者的动态关系；其次，渐进式知识蒸馏技术的创新应用，解决了大型模型在临床实时部署中的计算资源约束问题；最后，零样本泛化能力的验证表明该模型可适应不同医院、手术类型的多样化需求。这一研究方向的突破性进展，为手术决策支持系统和智能手术室建设提供了关键技术支持，推动了外科数据科学向多任务、可解释的智能化方向发展。

相关研究论文

• ORQA: A Benchmark and Foundation Model for Holistic Operating Room Modeling

  慕尼黑工业大学计算机辅助医学程序系, 德国 · 2025年