SUFIA-BC

SUFIA-BC数据集是由多伦多大学、英伟达等机构的研究人员创建，用于手术辅助机器人的视觉行为克隆学习。该数据集在ORBIT-Surgical模拟器中生成，包含50个通过人类远程操作收集的专家演示，涉及精细的机器人操作任务，如组织牵拉、持针、针交接、缝线垫和块转移等。数据集利用了高保真度的视觉渲染和接触丰富的物理交互，为视觉观察空间提供了多视角相机和3D视觉表征，旨在为手术环境中的行为克隆模型提供全面评估。SUFIA-BC dataset was created by researchers from institutions including the University of Toronto and NVIDIA for visual behavioral cloning learning of surgical assistant robots. Generated in the ORBIT-Surgical simulator, this dataset contains 50 expert demonstrations collected via human teleoperation, covering delicate robotic manipulation tasks such as tissue retraction, needle holding, needle handoff, suture pad and block transfer. Leveraging high-fidelity visual rendering and rich-contact physical interactions, the dataset provides multi-view camera footage and 3D visual representations for the visual observation space, aiming to offer comprehensive evaluation for behavioral cloning models in surgical environments.

搜集汇总

数据集介绍

构建方式

SUFIA-BC数据集的构建依托于ORBIT-Surgical增强版手术数字孪生模拟器，该模拟器整合了基于NVIDIA Omniverse平台的高保真人体解剖器官模型。通过合成CT扫描数据（NVIDIA MAISI生成）与真实CT分割（VISTA3D/Auto3DSeg处理）的双重数据源，采用行进立方体算法进行三维网格重建，并经过动态重网格化、拓扑优化等精细处理流程。数据集采集过程中使用VR控制器进行50次专家示教操作，同步记录6自由度机械臂运动轨迹及多视角RGB-D图像（512×512分辨率），涵盖组织牵拉、针头传递等5类典型手术子任务。

特点

该数据集的核心特征体现在三个方面：多模态感知融合方面，同时提供内窥镜/第三人称视角的RGB-D图像与稀疏点云数据，并附有精确的语义实例分割掩膜；物理交互真实性方面，通过GPU加速的射线追踪渲染和接触动力学模拟，实现了软组织变形、缝合线缠绕等复杂手术场景的高保真还原；任务多样性方面，包含从基础组织操作到双器械协同缝合等不同难度层级的任务，每个任务均设置均匀随机化的初始位姿以增强泛化性。特别值得注意的是，所有解剖模型均采用基于物理的渲染材质和次表面散射技术，其视觉保真度达到手术训练级标准。

使用方法

该数据集适用于视觉运动策略的模仿学习研究，建议使用流程可分为三个阶段：预处理阶段需对RGB-D数据进行相机标定和点云降采样（最远点采样法），建议保留2048个有效点；模型训练阶段支持两种主流架构——基于Transformer的动作分块模型（ACT）和3D扩散策略（DP3），需将视觉特征与关节位置等本体感知数据拼接后输入策略网络；评估阶段应采用任务特异性指标，如针头抓取成功率或组织牵拉位移精度。为提升泛化性能，推荐采用多视角观测空间组合训练，并利用数据集中提供的视角扰动测试集进行鲁棒性验证。对于双器械协同任务，需特别注意时序动作序列的对齐问题。

背景与挑战

背景概述

SUFIA-BC数据集由多伦多大学、NVIDIA、乔治亚理工学院和加州大学伯克利分校的研究团队于2025年联合发布，旨在推动机器人辅助手术中的视觉运动策略学习。该数据集基于ORBIT-Surgical仿真平台构建，通过高保真数字孪生技术模拟真实手术场景，包含五种典型手术操作任务的组织牵拉、针头拾取、器械传递等精细操作演示数据。其核心价值在于解决了手术机器人领域高质量专家示范数据稀缺的难题，为增强手术灵巧性研究提供了标准化基准。数据集采用的GPU加速物理引擎和光线追踪渲染技术，显著提升了合成数据的真实性与多样性，对手术自主化研究具有重要推动作用。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，手术环境的复杂接触动力学、微小器械的精确操控需求以及软组织的形变特性，使得现有行为克隆模型在长时程任务规划和空间精度上表现欠佳；在构建过程中，需克服三大难点：真实人体器官的物理属性建模、多视角视觉观测的空间对齐，以及从有限专家演示中提取泛化性策略。实验表明，基于点云的策略对器械几何变化敏感，而RGB模型则依赖固定视角，这暴露出当前方法在手术场景适应性上的固有局限。

常用场景

经典使用场景

在机器人辅助手术领域，SUFIA-BC数据集为视觉运动策略学习提供了高质量的示范数据。该数据集通过增强的手术数字孪生模拟器，生成了包含多视角摄像头和3D视觉表示的合成数据，特别适用于精细的手术操作任务，如组织牵引、针头拾取与交接、缝合垫操作等。这些任务模拟了真实手术中的复杂操作场景，为研究者提供了一个全面评估行为克隆模型的平台。

实际应用

在实际应用中，SUFIA-BC数据集为手术机器人的自主性增强提供了重要支持。其生成的合成数据可用于训练机器人执行精细的手术操作，如组织牵引和缝合，从而减轻外科医生的工作负担。数据集中的多视角视觉观察和点云表示还为手术机器人的感知系统开发提供了丰富素材，有助于提高机器人在真实手术环境中的适应性和鲁棒性。

衍生相关工作

SUFIA-BC数据集衍生了一系列相关经典工作。基于该数据集的研究探索了行为克隆技术在不同视觉表示（如RGB图像和点云）下的性能差异。此外，数据集还启发了对手术数字孪生和GPU加速物理模拟的进一步研究。相关工作还包括对动作分块变换器（ACT）和扩散策略（Diffusion Policy）等先进算法在手术任务中的系统评估，为手术机器人学习领域提供了重要参考。