MV-dVRK

MV-dVRK是由马克斯·普朗克智能系统研究所等机构联合创建的首个多视角离体手术数据集，专为稀疏多视角三维重建评估而设计。该数据集包含静态和动态两个子集：静态子集涵盖8个场景、840帧高分辨率图像，通过密集运动恢复结构获取精确的表面几何与相机位姿，并经过工业扫描仪验证；动态子集则包含10个同步序列，记录复杂手术操作中的组织变形与器械运动。数据集构建依托扩展的达芬奇研究平台，实现了三路立体内窥镜的曝光同步采集，为评估单目、立体及多视角三维重建方法提供了标准基准。其应用聚焦于解决机器人辅助微创手术中空间感知的几何覆盖与位姿估计难题，推动稀疏输入下的高精度三维重建研究。MV-dVRK is the first multi-view ex-vivo surgical dataset co-developed by the Max Planck Institute for Intelligent Systems and other institutions, designed specifically for the evaluation of sparse multi-view 3D reconstruction. The dataset contains two subsets: static and dynamic. The static subset covers 8 scenes and 840 high-resolution image frames, from which accurate surface geometry and camera poses are acquired via dense structure from motion (SfM), and validated by industrial scanners. The dynamic subset includes 10 synchronized sequences that record tissue deformation and instrument motion during complex surgical operations. Built upon an extended da Vinci research platform, the dataset enables synchronized exposure acquisition with three stereo endoscopes, serving as a standard benchmark for evaluating monocular, stereo, and multi-view 3D reconstruction methods. Its applications focus on addressing the challenges of geometric coverage and pose estimation for spatial perception in robot-assisted minimally invasive surgery, advancing high-precision 3D reconstruction research under sparse input conditions.

搜集汇总

数据集介绍

构建方式

在微创手术机器人领域，多视角感知对提升手术精度具有重要意义，但现有数据集多局限于单一立体视角，缺乏同步多视角与高精度几何真值。为此，研究者基于达芬奇研究套件（dVRK）构建了MV-dVRK平台，集成双独立控制立体内镜与固定立体内镜，形成三路曝光同步的立体视角，并采用硬件触发与PTP协议实现微秒级时间对齐。数据集包含静态与动态两个子集：静态子集通过密集多视SfM重建参考表面几何与相机位姿，并利用工业3D扫描仪验证（平均误差约0.6毫米）；动态子集记录十段手术操作序列，涵盖不同复杂度的组织变形与器械交互，同时提供同步运动学数据。

使用方法

该数据集主要用于稀疏多视角三维重建方法的量化评估。研究者设计了标准协议，每个测试样本包含三个同步立体视角（六张图像），并变化输入视角数量（一至三个）以系统比较不同重建范式。评估流程包括将预测结果与密集参考表面进行鲁棒Sim(3)配准，并计算表面覆盖率（1毫米容差）、平均三维误差及相对相机位姿误差。数据集支持零样本测试，适用于单目（如Endo3R）、立体（如FoundationStereo）及多视角优化方法（如GGPT）的公平对比，也可用于动态场景的相机位姿估计与新视角合成研究。

背景与挑战

背景概述

MV-dVRK数据集由马克斯·普朗克智能系统研究所、苏黎世联邦理工学院等多家研究机构于2026年联合创建，旨在突破机器人辅助微创手术中三维感知的瓶颈。针对临床手术机器人仅提供单一立体视角的局限，该数据集首次在离体猪组织上结合了三个曝光同步的立体视角与精确的表面几何及相机位姿，并通过密集运动恢复结构技术构建了亚毫米级参考几何，经工业级三维扫描仪验证。其静态子集支持稀疏视角三维重建的基准评测，动态子集则涵盖多种手术操作，为多视角手术感知研究提供了前所未有的标准化平台，对推动手术视觉计算及自主化发展具有重要影响力。

当前挑战

该领域面临的核心挑战在于，临床环境仅允许部署少量内窥镜，导致多视角数据极为稀少，且现有方法受限于单一视角的遮挡与场景覆盖不全，难以准确重建形变组织。构建过程中，需解决多相机曝光同步、大基线稀疏视角下的三维重建基准缺失，以及获取真实组织中高精度表面几何的难题。现有数据集难以兼顾多运动视角、曝光同步与精确几何真值，且稀疏视角下前馈模型覆盖度不足，联合优化方法对视角重叠敏感，动态场景中的密集几何真值获取仍属空白。

常用场景

经典使用场景

在手术机器人辅助微创手术（RAMIS）领域，三维感知能力是提升手术安全性与自主性的关键技术。MV-dVRK作为首个结合多曝光同步立体视角与精确表面几何及相机位姿的离体手术数据集，为稀疏多视角三维重建研究提供了高保真基准。其典型使用场景涵盖：系统评估从单目、双日到多视角重建方法在真实内窥镜图像上的表现，尤其关注视角数量递增时覆盖率与几何精度的变化规律；同时支持在同步动态序列中开展包含组织变形与相机运动的四维重建研究。研究者可借助该基准对重建算法进行可重复的量化比较，推动手术场景下三维感知技术的创新发展。

解决学术问题

该数据集有效解决了手术三维重建领域长期存在的基准缺失难题——现有数据多为单视角或缺乏高精度几何真值，难以支撑稀疏多视角方法的严格验证。MV-dVRK通过提供经过工业级扫描仪独立校验的稠密参考几何、精准的相机位姿以及可控的多视角测试集，使研究者能够首次在真实内窥镜影像上公平对比不同重建范式的优劣，填补了该领域方法评估的空白。其静态子集支持亚毫米精度的几何误差分析，动态子集则为时空感知研究奠定基础，对推动手术视觉理论的完善与算法性能的客观度量具有重要学术价值。

实际应用

在实际临床前研究与手术机器人系统开发中，MV-dVRK的实用价值尤为突出。一方面，它可用于验证和优化多相机手术导航系统的空间定位精度，为增强现实手术显示或自动器械追踪提供可靠参考；另一方面，动态序列为训练和评估基于视觉的机器人操纵策略提供多视角数据，有助于提升手术机器人在复杂组织环境下的自主决策能力。此外，该数据集支持对新兴的端到端重建模型（如基于基础模型的视觉几何方法）进行领域适用性测试，加速技术从实验室向临床环境的转化，具有显著的工程实践指导意义。

数据集最近研究

最新研究方向

面向机器人辅助微创手术的多视点空间感知研究正迎来范式革新，MV-dVRK作为首个融合曝光同步、多独立控制立体内窥镜与亚毫米级参考几何的离体基准，为稀疏视点三维重建提供了严苛的检验场。前沿聚焦于联合优化多视点几何与相机位姿的鲁棒算法，相较于前馈式基础模型，其在三视点条件下覆盖率可达67%（1mm容差），揭示了几何约束在组织形变与遮挡场景中的关键增益。动态序列的引入进一步拓展至非刚性形变与工具交互的时空感知，驱动从静态重建向实时神经渲染与自主手术决策的演进。

相关研究论文

• MV-dVRK: A Multi-Viewpoint Benchmark for Spatial Surgical Perception

  马克斯·普朗克智能系统研究所; 苏黎世联邦理工学院; 爱尔博集团; 图宾根大学医院; 约翰霍普金斯大学 · 2026年