5-DoF Trocar Pose Dataset

本仓库提供创建6自由度姿态数据集的必要代码，可以将数据转换为常规数据集类型（BOP和COCO），或使用trocar姿态数据集。数据集用于实时单目5自由度trocar姿态跟踪，适用于机器人辅助玻璃体视网膜手术。

This repository provides the necessary code for creating a 6-degree-of-freedom (6-DoF) pose dataset, which can be converted into conventional dataset formats (BOP and COCO) or utilized as a trocar pose dataset. The dataset is designed for real-time monocular 5-degree-of-freedom (5-DoF) trocar pose tracking, particularly suitable for robot-assisted vitreoretinal surgery.

原始信息汇总

5-DoF Trocar Pose Dataset 概述

数据集简介

本数据集提供了创建6自由度（6DoF）姿态数据集的必要代码，以及转换为传统数据集类型（BOP和COCO）的工具。此外，还包括了使用5自由度（5-DoF）Trocar姿态数据集的相关资源。

数据集创建

• 生成模拟数据集：代码可以从CAD文件生成所需数量的图像，图像中的物体姿态在一个定义的范围内，背景随机选取自VOC数据集。这通常用于模型预训练。
• 标注真实数据集：接收包含目标对象图像的文件夹，该对象附着在aruco板上。通过在utils.ObjectToTrack中更改值来选择一个帧以计算初始姿态。通过点击对象上的点并选择对应点来标注数据，使用键盘快捷键进行姿态的精细调整。

数据集处理

• 姿态调整：使用键盘快捷键在三个不同的视图中精细调整姿态。
• 格式转换：通过convert_to_bop.py和convert_to_coco.py将中间的.npz格式转换为标准数据集格式。

数据集限制

• 本数据集仅支持场景中包含一个对象的情况。

数据集访问

数据集可在此链接下载：数据集下载链接。

搜集汇总

数据集介绍

构建方式

在构建5-DoF Trocar Pose Dataset时，研究者采用了两种主要方法：生成假数据集和标注真实数据集。假数据集的生成通过将CAD文件在定义的姿态范围内随机摆放，并结合VOC数据集的随机背景图像来创建。这种方法通常用于模型的预训练。真实数据集的标注则通过将目标物体与aruco板结合，手动选择物体的对应点并调整姿态，最终将图像转换为中间的.npz格式。

使用方法

使用该数据集时，用户可以通过提供的代码将中间的.npz格式转换为BOP或COCO格式，以便于模型训练和评估。对于假数据集，用户可以根据需求生成特定数量的图像。对于真实数据集，用户可以通过手动标注和调整姿态来获取精确的Trocar姿态信息。数据集的灵活性和标准化格式使其适用于多种计算机视觉任务。

背景与挑战

背景概述

在机器人辅助眼科手术领域，精确的工具姿态估计是确保手术成功和患者安全的关键因素。5-DoF Trocar Pose Dataset由Colibri5项目团队创建，旨在为实时单目5自由度Trocar姿态跟踪提供高质量的数据支持。该数据集的构建基于复杂的图像生成与标注技术，结合了CAD模型与VOC数据集的背景，生成了一系列具有不同姿态的Trocar图像。这一数据集的发布不仅为机器人辅助手术中的姿态估计提供了宝贵的资源，还推动了相关算法的发展与优化。

当前挑战

5-DoF Trocar Pose Dataset的构建面临多重挑战。首先，生成具有真实感的合成图像需要精确的3D模型与背景融合技术，以确保图像的多样性与真实性。其次，标注过程中需要通过复杂的交互式工具进行姿态调整与确认，这一过程耗时且容易引入人为误差。此外，数据集的转换与标准化也是一个技术难点，需将生成的数据转换为BOP和COCO等标准格式，以适应不同算法的训练需求。最后，数据集的规模与多样性限制了其在复杂场景中的应用，如何扩展数据集以覆盖更多实际手术场景仍是一个亟待解决的问题。

常用场景

经典使用场景

5-DoF Trocar Pose Dataset 在机器人辅助眼科手术中具有经典应用，主要用于实时单目5自由度Trocar姿态跟踪。该数据集通过提供精确的Trocar姿态标注，使得研究人员能够开发和验证高效的姿态估计算法，从而在手术过程中实现对Trocar的精准定位和控制。

解决学术问题

该数据集解决了机器人辅助手术中Trocar姿态估计的学术难题，特别是在单目视觉条件下实现高精度的5自由度姿态跟踪。通过提供真实和合成的Trocar姿态数据，该数据集为研究者提供了一个标准化的测试平台，推动了相关算法的发展，并显著提升了手术机器人的操作精度和安全性。

实际应用

在实际应用中，5-DoF Trocar Pose Dataset 被广泛应用于机器人辅助眼科手术系统中，用于训练和验证Trocar姿态估计模型。这些模型在手术过程中能够实时跟踪Trocar的位置和方向，确保手术器械的精确操作，从而提高手术的成功率和患者的安全性。

数据集最近研究

最新研究方向

在机器人辅助手术领域，5-DoF Trocar Pose Dataset的最新研究方向主要集中在提升手术器械的实时定位与跟踪精度。该数据集通过提供高精度的5自由度（5-DoF）姿态数据，为研究者们开发更先进的视觉算法提供了坚实的基础。当前的研究热点包括利用深度学习技术进行单目摄像头的实时姿态估计，以及通过合成数据与真实数据相结合的方式，提升模型在复杂手术环境中的鲁棒性。这些研究不仅推动了手术机器人的智能化发展，也为未来实现更精准、更安全的手术操作奠定了技术基础。