Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD)

Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) 是由伊利诺伊大学芝加哥分校的研究团队创建的，旨在支持机器人辅助手术中的机器学习应用。该数据集记录了在猪肝脏上进行的离体伪胆囊切除手术，包含了立体内窥镜视频、机器人手臂和控制器的运动学数据、踏板信号以及图像的分割和关键点标注。数据集大小约为55,000条，涵盖了不同背景和经验水平的七位外科医生的操作记录。创建过程中，使用了COCO格式进行标注，确保了与计算机视觉模型的兼容性。该数据集主要应用于机器人辅助手术的研究，旨在提高手术自动化水平，优化外科医生的技能评估和手术任务的自动化。Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) was developed by a research team at the University of Illinois Chicago to support machine learning applications in robot-assisted surgery. This dataset records ex vivo pseudo-cholecystectomy procedures performed on porcine livers, including stereoscopic endoscopic videos, kinematic data of robotic arms and controllers, pedal signals, as well as image segmentation and keypoint annotations. The dataset contains approximately 55,000 entries, covering operation records from seven surgeons with diverse backgrounds and experience levels. During its creation, the COCO annotation format was used to ensure compatibility with computer vision models. This dataset is primarily applied in robot-assisted surgery research, aiming to advance surgical automation, optimize surgeon skill assessment, and automate surgical tasks.

搜集汇总

数据集介绍

构建方式

Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) 是通过在猪肝脏上进行的离体伪胆囊切除手术中记录的数据构建的。该数据集利用da Vinci Research Kit (dVRK)系统，不仅记录了立体内窥镜视频，还包含了机器人手臂和控制器的运动学数据，以及所有踏板输入的记录。此外，数据集还提供了内窥镜运动的时间戳记录，并增加了图像的分割和关键点标注，以增强其在计算机视觉应用中的实用性。数据集由七位具有不同背景和经验水平的手术医生贡献，涵盖了丰富的手术场景，确保了数据的多样性和代表性。

特点

CRCD 数据集的显著特点在于其全面性和多样性。它不仅包含了传统的手术视频和机器人运动学数据，还首次引入了踏板信号的详细记录，这对于分析手术医生的操作意图和自动化手术任务具有重要意义。此外，数据集还提供了猪肝脏和手术器械的分割标注以及关键点标注，这些标注遵循COCO格式，便于模型的训练和评估。数据集的多样性体现在参与手术的医生背景和经验的不同，以及手术场景的复杂性，这使得该数据集在推动手术机器人自动化和技能评估方面具有独特的价值。

使用方法

CRCD 数据集可广泛应用于手术机器人自动化、手术技能评估和计算机视觉模型的训练。研究者可以利用数据集中的立体内窥镜视频、运动学数据和踏板信号，开发预测踏板使用和相机激活的模型，或进行3D场景重建。此外，数据集中的分割和关键点标注可用于训练和验证手术器械和组织识别的模型。通过分析手术医生的背景和经验数据，研究者还可以开发个性化的手术辅助系统，优化手术机器人在不同手术场景中的表现，从而提升手术效率和安全性。

背景与挑战

背景概述

近年来，随着机器学习在微创手术（MIS）中的应用日益广泛，数据集的重要性愈发凸显。Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) 由伊利诺伊大学芝加哥分校的多个研究团队联合开发，旨在填补现有数据集在机器人辅助手术（RAS）中的空白。该数据集记录了在猪肝脏上进行的离体伪胆囊切除手术，提供了全面的机器人运动学数据、脚踏板输入记录以及内窥镜运动的时间戳记录。与现有数据集相比，CRCD不仅包含了手术器械的分割和关键点标注，还引入了外科医生的背景信息，使其成为机器人辅助手术研究的重要资源。该数据集的发布为评估外科医生技能、提高手术环境感知能力以及自动化手术任务的开发提供了有力支持。

当前挑战

CRCD数据集在构建过程中面临多项挑战。首先，手术场景的复杂性要求数据集能够准确捕捉手术器械和组织的动态变化，这对图像分割和关键点检测提出了高要求。其次，手术过程中机器人运动学数据的精确记录和同步也是一个技术难点，尤其是在不同采样率下的数据同步问题上。此外，脚踏板输入的记录和分析对于自动化手术任务的实现至关重要，但现有数据集往往忽略了这一部分。最后，如何确保数据集在不同手术场景下的通用性和鲁棒性，尤其是在处理复杂手术环境时，仍然是一个亟待解决的问题。

常用场景

经典使用场景

Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) 最经典的使用场景在于支持机器人辅助手术（RAS）中的自动化任务研究。该数据集通过提供详细的机器人运动学数据、脚踏板输入信号以及手术视频的标注，使得研究人员能够开发用于预测脚踏板使用、相机激活以及3D场景重建的模型。这些模型在提升手术自动化水平、减轻外科医生负担方面具有重要意义。

衍生相关工作

基于 CRCD 数据集，研究人员开发了多种相关工作，包括脚踏板意图识别模型、手术器械的实例分割和关键点检测模型，以及3D场景重建技术。这些工作不仅提升了手术机器人的自动化水平，还为外科医生提供了更好的操作辅助。此外，该数据集还促进了手术机器人系统的个性化设计，通过分析外科医生的操作习惯，优化手术机器人的辅助功能，进一步提升了手术效果。

数据集最近研究

最新研究方向

近年来，机器人辅助手术（RAS）领域对机器学习技术的应用表现出极大的兴趣，而数据集在这一过程中扮演着至关重要的角色。Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD) 的最新研究方向主要集中在通过提供全面的机器人手术数据，推动手术自动化和智能化的进一步发展。该数据集不仅包含了手术过程中的立体视频、机器人手臂和控制器的运动学数据，还首次引入了脚踏板输入信号的记录，以及手术器械和组织的分割与关键点标注。这些数据的整合为研究人员提供了丰富的信息，有助于开发更先进的手术技能评估方法、增强手术系统的情境感知能力，并实现手术任务的自动化。此外，该数据集还通过引入不同经验水平的手术医生数据，为个性化手术辅助系统的开发提供了基础，从而有望减轻手术医生的认知负担，提升手术效果。

相关研究论文

• Expanded Comprehensive Robotic Cholecystectomy Dataset (CRCD)

  伊利诺伊大学芝加哥分校 · 2024年