SurgicAI

SurgicAI是由约翰霍普金斯大学开发的一个精细化的数据收集和基准测试平台，专注于外科手术策略学习。该数据集支持多种复杂手术任务，特别是缝合场景中的高灵巧性和模块化操作。SurgicAI通过集成标准化流程、先进的分层学习框架、多样化的任务套件和基准性能指标，提升了其在机器人手术自动化领域的应用能力。数据集的创建过程涉及专家演示的收集和预处理，以及使用强化学习和模仿学习方法训练代理。SurgicAI的应用领域主要集中在解决机器人辅助手术中的自动化挑战，尤其是提高手术任务的适应性和精确性。SurgicAI is a refined data collection and benchmarking platform developed by Johns Hopkins University, focused on surgical strategy learning. This dataset supports a wide range of complex surgical tasks, especially highly dexterous and modular manipulation in suturing scenarios. By integrating standardized workflows, cutting-edge hierarchical learning frameworks, diverse task suites, and benchmark performance metrics, SurgicAI enhances its applicability in the domain of robotic surgical automation. The creation of this dataset entails the collection and preprocessing of expert demonstrations, as well as the training of agents via reinforcement learning and imitation learning approaches. The primary application scope of SurgicAI lies in addressing automation-related challenges in robot-assisted surgery, specifically improving the adaptability and precision of surgical tasks.

原始信息汇总

A Fine-grained Platform for Data Collection and Benchmarking in Surgical Policy Learning

系统要求

• Ubuntu 20.04
• Gymnasium 0.29.1
• Stable Baselines3 2.2.1
• ROS Noetic
• Python 3.8
• Torch 2.1.0
• ambf 2.0

安装步骤

1. 克隆并安装surgical robotics challenge environment。

2. 安装Gymnasium： bash pip install gymnasium

3. 配置Pytorch和CUDA（如有NVIDIA显卡）。

4. 安装Stable Baselines3： bash pip install stable-baselines3

安装验证

运行以下脚本以验证安装： python import gymnasium import stable_baselines3

env = gymnasium.make(CartPole-v1) model = stable_baselines3.PPO(MlpPolicy, env, verbose=1) model.learn(total_timesteps=10000)

RL训练

运行SRC环境

确保ROS和SRC运行后，执行以下命令： bash roscore

bash ~/ambf/bin/lin-x86_64/ambf_simulator --launch_file ~/ambf/surgical_robotics_challenge/launch.yaml -l 0,1,3,4,13,14 -p 200 -t 1 --override_max_comm_freq 120

注册Gymnasium环境

python import gymnasium as gym from stable_baselines3.common.evaluation import evaluate_policy from Approach_env import SRC_approach import numpy as np from stable_baselines3.common.callbacks import CheckpointCallback from stable_baselines3.common.env_checker import check_env from RL_algo.PPO import PPO from stable_baselines3.common.utils import set_random_seed gym.envs.register(id="TD3_HER_BC", entry_point=SRC_approach) env = gym.make("TD3_HER_BC", render_mode="human",reward_type = "sparse")

初始化和训练模型

使用Proximal Policy Optimization (PPO)算法： python model = PPO("MlpPolicy", env, verbose=1,tensorboard_log="./First_version/",) checkpoint_callback = CheckpointCallback(save_freq=10000, save_path=./First_version/Model_temp, name_prefix=SRC) model.learn(total_timesteps=int(1000000), progress_bar=True,callback=checkpoint_callback,) model.save("SRC")

加载模型

python model = PPO("MlpPolicy", env, verbose=1,tensorboard_log="./First_version/",) model_path = "./Model/SRC_10000_steps.zip" model = PPO.load(model_path) model.set_env(env=env)

测试模型预测

python obs,info = env.reset() print(obs) for i in range(10000): action, _state = model.predict(obs, deterministic=True) print(action) obs, reward, terminated,truncated, info = env.step(action) print(info) env.render() if terminated or truncated: obs, info = env.reset()

搜集汇总

数据集介绍

构建方式

SurgicAI数据集的构建以适应复杂的手术操作，特别是缝合任务，通过提供模块化子任务和任务分解的支持，使得基于强化学习（RL）的手术机器人得以高效学习。SurgicAI与达芬奇手术系统兼容，提供了一个标准化的数据收集和使用专家演示的流程。它支持多种RL和IL方法的部署，以及在高灵活性和模块化环境下的缝合场景中训练单一和组合子任务。同时，SurgicAI为评估学习策略设置了明确的指标和基准。

特点

SurgicAI数据集的特点在于其复杂的多体动力学、软体模拟和与达芬奇研究套件（dVRK）的实时交互。它提供了一个综合的学习环境，用于开发和测试机器人缝合技术。SurgicAI集成了标准化流程、高级分层学习框架、多样化的任务套件和基准性能指标，以提高其能力。数据集提供了广泛的操作，如接近和抓取针，将针放置在入口孔中，插入针，交出针（用另一个PSM重新抓取）和拔出针，这些操作都需要高水平的灵巧性和精确性。

使用方法

SurgicAI数据集的使用方法包括三个主要阶段：初始化、训练和评估。初始化阶段涉及设置ROS和SRC，初始化定义每个任务的重置、步骤和奖励函数的Gymnasium环境，以及定义学习算法。训练阶段允许用户继续或微调其他预训练模型，并执行训练过程。测试和评估阶段包括保存/加载模型、预测动作、控制机器人，并使用特定指标评估性能。此外，SurgicAI提供了一个从遥操作设备和通过学习演示算法生成的启发式轨迹中收集数据的综合流程。

背景与挑战

背景概述

SurgicAI数据集的研究背景在于机器人辅助手术的自动化，特别是缝合等复杂任务的自动化。尽管机器人辅助手术在精确度、减少医生疲劳和缩短恢复时间方面取得了进步，但缝合等复杂任务的自动化仍然是一个挑战。传统的自动化方法依赖于预先编程的指令和启发式算法，缺乏适应性和泛化能力。SurgicAI数据集提供了一个灵活的平台，用于开发和完善基于强化学习和模仿学习的机器人缝合技术。该数据集由Johns Hopkins University和Worcester Polytechnic Institute的研究人员创建，旨在解决当前机器人辅助手术自动化中存在的问题。

当前挑战

SurgicAI数据集面临的挑战包括：1) 缝合等复杂任务的自动化；2) 缺乏精细的数据收集和评估平台。此外，在构建过程中，SurgicAI数据集还面临着如何将复杂的手术任务分解为更小的、更易于管理的子任务，以及如何有效地收集和利用专家演示数据的挑战。

常用场景

经典使用场景

SurgicAI数据集主要用于模拟和评估在手术缝合场景中的机器人学习算法，特别是强化学习（RL）和模仿学习（IL）算法。该数据集提供了一个标准化的流程，包括从遥操作系统收集和预处理专家轨迹，使用RL和IL方法训练代理，并评估其性能。SurgicAI支持部署多种RL和IL方法，并在缝合场景中训练单个和组合的子任务，具有高灵巧性和模块化。此外，SurgicAI为评估学习策略设置了明确的指标和基准。

解决学术问题

SurgicAI数据集解决了当前手术机器人学习平台缺乏复杂、多阶段任务的细粒度平台的问题。现有的平台通常只包括相对简单、非灵巧的操作，并且缺乏有效学习和泛化所需的灵活性。SurgicAI通过提供适应模块化子任务和RL基础手术机器人的任务分解的灵活性来解决这些挑战。此外，SurgicAI还设置了明确的指标和基准，用于评估学习策略的性能。SurgicAI的详细基准分析突出了其在手术机器人策略学习中的潜力。

衍生相关工作

SurgicAI数据集的衍生相关工作包括：1）基于SurgicAI平台开发的多种RL和IL算法；2）使用SurgicAI数据集进行实验并发表的研究论文；3）基于SurgicAI平台的机器人手术自动化解决方案。SurgicAI的发布为手术机器人学习领域的研究人员提供了一个重要的工具，并促进了该领域的发展。