D4D Dataset

D4D数据集是由德国国家肿瘤疾病中心与德累斯顿工业大学等机构联合创建，专为评估非刚性腹部手术场景的4D重建而设计。该数据集包含超过30万帧内窥镜视频和369个点云，数据来源于六只猪的腹部手术场景，使用达芬奇Xi立体内窥镜和Zivid结构光相机采集。数据集通过光学追踪和手动迭代对齐方法进行注册，包含三种序列类型：整体变形、增量变形和移动相机片段，旨在测试算法对非刚性运动、变形幅度和视野外更新的鲁棒性。数据集主要应用于非刚性SLAM、4D重建和深度估计方法的开发和评估，解决腹部手术中软组织变形重建的难题。

The D4D dataset was jointly created by institutions including the German National Center for Tumor Diseases and Technische Universität Dresden, and is purpose-built for evaluating 4D reconstruction in non-rigid abdominal surgical scenarios. This dataset contains over 300,000 frames of endoscopic video and 369 point clouds, with data collected from abdominal surgical procedures performed on six pigs using the da Vinci Xi stereoscopic endoscope and Zivid structured-light camera. The dataset is registered via optical tracking and manual iterative alignment methods, and encompasses three sequence types: global deformation, incremental deformation, and moving camera clips, which are designed to test algorithm robustness against non-rigid motion, varying deformation magnitudes, and out-of-view updates. It is primarily utilized for the development and evaluation of non-rigid SLAM, 4D reconstruction and depth estimation methods, addressing the challenge of soft tissue deformation reconstruction in abdominal surgery.

搜集汇总

数据集介绍

构建方式

在微创手术领域，对软组织形变进行精确三维重建是计算机辅助导航系统的关键挑战。D4D数据集通过整合达芬奇Xi立体内窥镜与Zivid结构光相机，在猪只尸体腹部手术场景中采集数据，构建了内窥镜视频与高质量几何信息的配对资源。数据采集过程中，利用光学追踪系统实时记录内窥镜与结构光相机的位姿，并通过手动标注与迭代对齐方法确保时空同步。采集的序列涵盖整体形变、渐进形变及相机移动三种类型，以模拟真实手术中组织的非刚性运动、形变幅度及视野外更新等复杂情况。

特点

该数据集的核心特点在于首次提供了内窥镜视频与结构光相机获取的高精度几何真值数据的配对，填补了非刚性腹部手术场景评估资源的空白。数据集包含超过30万帧图像及369个点云，涵盖98个精选录制序列，支持在可见与遮挡区域进行三维几何重建的定量评估。此外，数据经过严格的后期处理，包括基于特征匹配的位姿优化、迭代最近点配准以及半自动区域配准技术，确保了内窥镜图像与点云数据的高质量对齐。数据以标准化分辨率（640×512）提供校正后的立体图像、器械掩膜、立体深度图及相机内参，便于不同重建方法的基准测试。

使用方法

研究人员可利用该数据集开展非刚性三维/四维重建、同步定位与地图构建及深度估计算法的开发与评估。使用流程包括加载校正后的立体图像、器械掩膜及立体深度图，结合相机内参文件与优化后的相机位姿数据，将重建结果与结构光相机获取的起点和终点点云进行几何对齐。评估时可通过计算点云间的距离指标量化重建精度，并基于非掩膜像素进行光度视图合成的质量分析（如PSNR、SSIM、LPIPS）。数据集中的整体形变序列适用于端到端鲁棒性测试，渐进形变序列支持组织形变过程的细粒度研究，而相机移动序列则用于评估视野外形变与相机运动下的重建连续性。

背景与挑战

背景概述

在微创手术领域，精准重建软组织变形场景是计算机辅助创新技术的基础，尤其对于术中导航系统至关重要。D4D数据集由德国德累斯顿国家肿瘤疾病中心等机构的研究团队于2025年创建，旨在解决腹部非刚性手术场景的四维重建问题。该数据集首次提供了内窥镜视频与高质量结构光几何数据的配对，通过猪尸体实验模拟真实手术条件，填补了现有数据在变形软组织评估方面的空白。其核心研究问题聚焦于非刚性SLAM、深度估计及四维重建算法的开发与验证，对推动手术导航、机器人自动化及医学教育仿真具有显著影响力。

当前挑战

D4D数据集致力于解决腹部微创手术中非刚性组织三维重建的评估难题，其核心挑战在于如何准确量化变形及遮挡区域的几何精度。现有方法多依赖光度误差指标，缺乏可靠的地面真值几何数据以进行系统性验证。在构建过程中，研究团队面临多模态数据对齐的复杂性，需通过光学追踪与手动迭代配准技术融合内窥镜与结构光相机数据。此外，组织动态变形、仪器遮挡以及相机位姿漂移等问题增加了数据采集与后处理的难度，要求开发半自动区域配准等定制化工具以确保数据质量与一致性。

常用场景

经典使用场景

在微创手术的计算机视觉研究中，D4D数据集为评估非刚性腹部软组织三维重建算法提供了基准平台。其经典使用场景集中于验证非刚性同步定位与建图（SLAM）和4D重建方法在真实手术条件下的鲁棒性。通过提供配对的内窥镜视频与高精度结构光几何数据，研究者能够量化分析算法在组织变形、相机移动及视野外更新等复杂情境下的性能表现。该数据集包含整体变形、增量变形和相机移动三种序列类型，全面模拟了手术中组织受器械推拉产生的非刚性运动过程，为算法开发与比较奠定了实证基础。

衍生相关工作

围绕D4D数据集，已衍生出一系列专注于非刚性手术场景重建的经典研究工作。例如，基于神经渲染的EndoNeRF和EndoSurf方法利用立体内窥镜视频学习组织形变，实现了动态表面的高质量重建。ForPlane等正交神经平面技术则通过高效编码变形场，提升了重建速度与精度。在SLAM领域，MIS-SLAM系统结合嵌入式变形图进行实时稠密建图，而DEFSLAM等框架扩展了单目序列下的非刚性场景跟踪能力。这些工作共同推动了手术视觉从静态建模向动态4D感知的演进，为智能手术系统的实现奠定了算法基础。

数据集最近研究

最新研究方向

在微创手术领域，软组织动态三维重建技术正成为计算机辅助导航系统的核心挑战。D4D数据集作为首个提供内窥镜视频与高质量结构化光几何配对数据的资源，填补了非刚性腹部手术场景评估的空白，推动了非刚性SLAM与4D重建算法的前沿探索。当前研究聚焦于利用该数据集开发能够处理视野外变形的智能重建模型，结合高斯溅射与神经网络方法，以提升手术场景的实时几何更新能力。这一进展不仅为手术导航系统提供了精准的评估基准，还加速了机器人手术自动化与虚拟仿真训练的发展，具有深远的临床意义。

相关研究论文

• The Dresden Dataset for 4D Reconstruction of Non-Rigid Abdominal Surgical Scenes

  德国国家肿瘤疾病中心·转化外科肿瘤学系; 德累斯顿工业大学医学院; 德累斯顿工业大学·触觉互联网中心; 香港中文大学·计算机科学与工程系 · 2026年