IRMV Medical Dataset

本数据集专为内窥镜手术场景中的三维视觉任务与机器人感知任务设计，涵盖高质量的内窥镜图像数据与对应的几何信息（如点云、深度图、相机位姿与标定参数）。数据集支持包括视觉SLAM、结构光三维重建、相机标定验证、几何学习、手术导航算法评估在内的多种研究任务，适用于推进医疗机器人在复杂手术环境中的自主感知与定位能力。

This dataset is specifically designed for 3D vision tasks and robotic perception tasks in endoscopic surgical scenarios. It contains high-quality endoscopic image data and corresponding geometric information, including point clouds, depth maps, camera poses, and calibration parameters. The dataset supports a variety of research tasks such as visual SLAM, structured light 3D reconstruction, camera calibration verification, geometric learning, and surgical navigation algorithm evaluation, and is applicable to advancing the autonomous perception and positioning capabilities of medical robots in complex surgical environments.

原始信息汇总

IRMV Medical Dataset 概述

基本信息

• 版本: 0.1
• 发布日期: 2025年5月16日
• 作者: @谢承泰 (IRMV LAB)
• 技术支持邮箱: [e-mail]

数据集描述

本数据集专为内窥镜手术场景中的三维视觉任务与机器人感知任务设计，涵盖以下内容：

• 高质量的内窥镜图像数据
• 对应的几何信息（点云、深度图、相机位姿与标定参数）

适用研究领域

• 视觉SLAM
• 结构光三维重建
• 相机标定验证
• 几何学习
• 手术导航算法评估

包含数据集列表

1. EndoNeRF数据集

• 名称: endonerf_sample_datasets
• 来源: https://med-air.github.io/EndoNeRF/
• 类型: 内窥镜图像
• 内容:
  • 两个文件夹：cutting_tissues_twice 与 pulling_soft_tissues
• 原格式: LLFF

2. SCARED2019数据集

• 名称: Stereo Correspondence and Reconstruction of Endoscopic Data
• 来源: https://endovissub2019-scared.grand-challenge.org/
• 类型: 双目内窥镜图像
• 内容:
  • 三个数据集（来自三只不同的猪）
  • 每个数据集包含5个关键帧
• 原格式:
  • TIFF格式深度图
  • PNG格式照片
  • 相机参数信息与视频序列

3. StereoMIS数据集

• 名称: StereoMIS Data
• 来源: https://zenodo.org/records/7727692
• 类型: 双目内窥镜视频序列
• 内容:
  • 三个体内猪受试者
  • 11个手术序列（包括呼吸、工具运动和组织变形）
• 原格式:
  • PNG格式Masks
  • 相机参数信息与视频序列

许可协议

详细参考各个数据集使用文档

联系方式

• 实验室团队: IRMV, SIRIUS
• 技术支持: [e-mail]

更新日志

• 2025-05-16: 文档创立
• 2025-05-19: 更新endonerf
• 2025-05-20: 更新scared2019
• 2025-05-25: 更新stereomis

贡献指南

• 数据提交: 联系邮箱并提供数据描述文档
• 问题反馈: 发送邮件至联系邮箱
• 推荐参考网页: https://github.com/openmedlab/Awesome-Medical-Dataset

搜集汇总

数据集介绍

构建方式

IRMV Medical Dataset的构建融合了多个高质量的内窥镜手术相关数据集，包括EndoNeRF、SCARED2019和StereoMIS。这些数据来源于真实的内窥镜手术场景，通过结构光照明器、达芬奇Xi手术机器人等先进设备捕获，涵盖了丰富的图像数据和几何信息。数据集经过严格的筛选和预处理，确保数据的准确性和一致性，为三维视觉任务和机器人感知任务提供了可靠的基础。

特点

该数据集的特点在于其多样性和专业性，涵盖了单目和双目内窥镜图像、深度图、点云、相机位姿等多种数据类型。数据来源于不同的手术场景和实验对象，具有较高的代表性和泛化能力。此外，数据集还提供了详细的相机标定参数和运动学信息，为医疗机器人领域的算法研究和评估提供了全面的支持。

使用方法

使用IRMV Medical Dataset时，研究人员可根据具体任务选择相应的子数据集。例如，EndoNeRF适用于神经辐射场相关研究，SCARED2019和StereoMIS则更适合视觉SLAM和三维重建任务。数据集通常需要预处理，如格式转换和数据对齐，以适配不同的算法框架。详细的文档和示例代码可帮助用户快速上手，确保数据的高效利用。

背景与挑战

背景概述

IRMV Medical Dataset是由IRMV LAB于2025年推出的专注于内窥镜手术场景三维视觉与机器人感知任务的数据集。该数据集整合了EndoNeRF、SCARED2019和StereoMIS等多个高质量内窥镜图像子集，涵盖点云、深度图、相机位姿等几何信息，旨在推动医疗机器人在复杂手术环境中的自主感知与定位算法研究。其核心研究问题聚焦于解决内窥镜手术中视觉SLAM、三维重建、相机标定等关键技术挑战，为手术导航系统的智能化发展提供了重要数据支撑。

当前挑战

该数据集面临的领域挑战主要来自内窥镜手术场景的特殊性：组织形变、器械遮挡和动态光照条件对视觉SLAM算法的鲁棒性提出极高要求；而构建过程中的挑战则体现为多源异构数据的标准化整合，包括不同采集设备（达芬奇机器人/结构光照明器）产生的TIFF深度图与PNG图像对齐，以及呼吸运动导致的组织形变数据标注难题。此外，医疗数据的隐私性要求使得原始数据预处理与匿名化成为关键制约因素。

常用场景

经典使用场景

IRMV Medical Dataset在内窥镜手术领域具有广泛的应用价值，尤其在三维视觉任务与机器人感知任务中表现突出。该数据集通过提供高质量的内窥镜图像数据及对应的几何信息，为视觉SLAM、结构光三维重建等研究任务提供了坚实的基础。研究人员可以利用这些数据进行手术场景的精确建模，从而提升医疗机器人在复杂环境中的自主感知能力。

解决学术问题

IRMV Medical Dataset有效解决了内窥镜手术中三维视觉与机器人感知的关键学术问题。通过整合点云、深度图、相机位姿等几何信息，该数据集为视觉SLAM和结构光三维重建提供了可靠的数据支持。其意义在于推动了医疗机器人在手术导航算法评估中的技术进步，为复杂手术环境下的自主定位与感知研究开辟了新路径。

衍生相关工作

IRMV Medical Dataset的发布催生了一系列经典研究工作。例如，基于EndoNeRF数据集的神经辐射场技术在内窥镜图像重建中取得了显著进展。SCARED2019和StereoMIS数据集则广泛应用于双目内窥镜图像的三维重建与SLAM算法优化，为医疗机器人感知技术的提升奠定了数据基础。