five

SurgPose|医疗影像分析数据集|机器人手术数据集

收藏
arXiv2025-02-17 更新2025-02-27 收录
医疗影像分析
机器人手术
下载链接:
https://surgpose.github.io/
下载链接
链接失效反馈
资源简介:
SurgPose数据集由不列颠哥伦比亚大学机器人与控制实验室创建,包含约12万个手术器械实例,分为6类。数据集通过在手术器械上标记紫外线反应漆,收集了在不同光照条件下手术器械的轨迹和关键点注释。该数据集旨在为视觉手术工具姿态估计和跟踪提供实例感知语义关键点和骨骼信息,支持立体匹配,可用于评估算法的全面性。
提供机构:
不列颠哥伦比亚大学机器人与控制实验室
创建时间:
2025-02-17
AI搜集汇总
数据集介绍
main_image_url
构建方式
SurgPose数据集的构建采用了紫外光反应性涂料对六类手术工具的关键点进行标记。通过da Vinci IS1200系统与da Vinci Research Kit (dVRK)结合,在体外组织背景下,收集了30条轨迹,并在紫外光和白光下分别获取了原始视频和关键点注释。数据集中大约包含12万个手术工具实例,每个实例都标注了7个语义关键点。此外,由于视频是成对采集的,因此2D姿态可以通过立体匹配深度提升到3D。
特点
SurgPose数据集具有以下几个显著特点:1)使用透明标记以提供精确的关键点位置,同时保持图像差异最小;2)多模态辅助注释,包括末端执行器运动学、PSM关节状态和部分级分割掩码,这些注释也可用于其他任务,如关节配置估计、运动学恢复等;3)校正立体,能够将2D姿态提升到3D;4)包含六种手术工具,为算法提供了更全面的评估。
使用方法
使用SurgPose数据集时,可以根据需要选择使用左帧或右帧进行2D姿态估计和跟踪。数据集提供了基于RAFT的立体匹配基准,作为参考深度。此外,还可以利用SAMv2等现成模型对可见视频序列进行分割,获取手术工具在每帧中的投影面积,作为关键点检测指标的缩放参数。对于3D任务,可以利用立体对提供的深度信息。
背景与挑战
背景概述
SurgPose数据集是一个专门为机器人手术工具姿态估计和跟踪而构建的数据集。该数据集由加拿大不列颠哥伦比亚大学机器人与控制实验室(RCL)的研究人员Zijian Wu、Adam Schmidt等人于2025年创建。其主要研究问题是提高机器人手术工具姿态估计的准确性和效率,这对于增强现实(AR)在手术训练中的应用以及基于学习的自主操作具有重要意义。SurgPose数据集的创建填补了机器人手术领域高质量训练和验证数据的空白,为下游应用提供了支持,并对相关领域产生了积极的影响。
当前挑战
SurgPose数据集面临的挑战主要包括:1) 机器人手术工具姿态估计的挑战:尽管在人体和动物姿态估计方面取得了显著进展,但在手术机器人领域,由于公开数据的稀缺性,这一问题仍然存在挑战。2) 构建过程中的挑战:da Vinci手术机器人系统末端执行器的运动学绝对误差相对较大,校准过程繁琐,导致校准运动学数据收集成本高昂。此外,为了在控制台相机视图中使仪器显示在其实际位置,需要进行手眼校准,而这一过程由于da Vinci患者侧操作器(PSM)的 kinematic chains 长度超过两米,具有七个自由度和18个关节,因此变得非常繁琐。
常用场景
经典使用场景
SurgPose数据集主要用于手术机器人的工具姿态估计和跟踪。通过标记关键点并收集在不同光照条件下的原始视频,SurgPose为视觉手术工具姿态估计和跟踪提供了实例感知的语义关键点和骨架。这使得SurgPose在增强现实(AR)在手术训练和学习型自主操作等下游应用中具有根本性的意义。
衍生相关工作
SurgPose数据集衍生了多个相关的工作。例如,SurgRIPE挑战赛发布了针对达芬奇手术机器人手腕的6D姿态估计数据集。此外,SurgPose还启发了其他研究人员开发手术机器人工具姿态估计和跟踪的方法。例如,Kurmann等人使用UNet架构同时进行工具识别和姿态估计,而Du等人使用全卷积网络(FCN)进行多工具姿态估计。这些相关工作都受到了SurgPose数据集的启发,并为手术机器人领域的研究做出了贡献。
数据集最近研究
最新研究方向
SurgPose数据集的创建是为了解决手术机器人工具位姿估计和跟踪中的数据稀缺问题,这对于下游应用如手术训练中的增强现实(AR)和学习基础上的自主操作至关重要。SurgPose数据集包含约12万个手术器械实例,为6个类别,每个实例都标记有7个语义关键点。该数据集的独特之处在于使用紫外(UV)反应性油漆标记关键点,从而在白光下不可见,而在紫外光下荧光,使得在两种光照条件下收集原始视频和关键点注释成为可能。此外,SurgPose数据集还包括末端执行器运动学、PSM关节状态和部分级分割掩码等注释,这些注释对于其他任务,如关节配置估计、运动学恢复等也具有潜力。此外,SurgPose数据集还支持将2D位姿提升到3D,这对于更精确的手术器械定位具有重要意义。因此,SurgPose数据集为手术机器人工具位姿估计和跟踪的研究提供了宝贵的数据资源,有助于推动该领域的研究和发展。
相关研究论文
  • 1
    SurgPose: a Dataset for Articulated Robotic Surgical Tool Pose Estimation and Tracking不列颠哥伦比亚大学机器人与控制实验室 · 2025年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Google Scholar

Google Scholar是一个学术搜索引擎,旨在检索学术文献、论文、书籍、摘要和文章等。它涵盖了广泛的学科领域,包括自然科学、社会科学、艺术和人文学科。用户可以通过关键词搜索、作者姓名、出版物名称等方式查找相关学术资源。

scholar.google.com 收录

poi

本项目收集国内POI兴趣点,当前版本数据来自于openstreetmap。

github 收录

学生课堂行为数据集 (SCB-dataset3)

学生课堂行为数据集(SCB-dataset3)由成都东软学院创建,包含5686张图像和45578个标签,重点关注六种行为:举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景,通过YOLOv5、YOLOv7和YOLOv8算法评估,平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础,解决教育领域中学生行为数据集的缺乏问题。

arXiv 收录

China Health and Nutrition Survey (CHNS)

China Health and Nutrition Survey(CHNS)是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目,旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响,以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体,采用多阶段随机抽样方法,收集了家庭、个体以及社区层面的详细数据,包括饮食、健康、经济和社会因素等信息。自2011年起,CHNS不断扩展,新增多个城市和省份,并持续完善纵向数据链接,为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。

www.cpc.unc.edu 收录

ICESat-2 Data

ICESat-2 Data 是由美国国家航空航天局(NASA)发布的卫星数据集,主要用于全球冰层和陆地高程的测量。该数据集包括高精度激光测高数据,用于研究冰川、海冰、植被和地形变化。

icesat-2.gsfc.nasa.gov 收录