US-PPNR Dataset

这是一个多模态、时间同步的超声引导针活检数据集，包含超声成像、多视角视频、机器人运动学、力/扭矩和光学跟踪数据。数据集支持视觉-语言-动作（VLA）和模仿学习策略的训练和评估，涵盖扫描和探头放置、针跟踪以及探头调整以保持针可视化等程序。

This is a multimodal, time-synchronized ultrasound-guided needle biopsy dataset, which contains ultrasound imaging, multi-view video, robot kinematics, force/torque, and optical tracking data. The dataset supports the training and evaluation of vision-language-action (VLA) and imitation learning strategies, covering procedures such as scanning and probe placement, needle tracking, and probe adjustment to maintain needle visualization.

原始信息汇总

数据集概述：超声引导肝活检自主探头放置与针回收多模态数据集 (US-PPNR)

基本信息

• 数据集名称：A Multimodal Dataset for Autonomous Probe Placement and Needle Retrieval in Ultrasound-Guided Liver Biopsy (US-PPNR)
• 版本：1.0
• 许可证：CC BY 4.0
• 下载地址：https://drive.google.com/drive/folders/1X2dO5XCM5VekXYe5eDERvGX8CCyASJrT
• 所属项目：Open-H-Embodiment（项目页面：https://open-h.github.io/open-h-embodiment/）

数据规模

指标	数值
总轨迹数	2,546
总时长	10小时51分09秒
数据类型	临床、离体、桌面体模、物理仿真

任务与领域

• 领域：超声机器人
• 演示技能：
  • 探头放置（PP.tar.gz）：自主探头放置以实现肝脏扫描
  • 针回收（NR.tar.gz）：插入过程中稳健的针追踪、超声引导下从体模/组织中自主回收针、自主探头扫描（扫查、平面寻找）、自适应探头操作以保持可视化

数据采集详情

• 采集方法：人类遥操作 + 程序化/状态机
• 操作者信息：
  • 操作者数量：6人
  • 操作者技能水平：专家（如超声师/临床医生）、中级（如受过训练的研究人员）、新手（如经验有限的ML研究人员）
  • 采集周期：2025年12月20日至2026年1月18日
• 恢复演示：否

多样性维度

• 相机位置/角度
• 光照条件
• 目标物体（不同体模模型、组织类型、病灶位置）
• 空间布局（不同病灶位置和插入方式）
• 任务执行（不同扫描/插入技术）
• 背景/场景
• 补充说明：数据在商业和定制体模上采集，以改变组织外观、声学特性和病灶表现；试验涵盖多种目标位置、扫描平面、插入角度和操作者策略（专家vs.非专家），在感知（超声外观、针可见性）和控制（探头/针轨迹、接触力）方面具有多样性。

设备与设置

机器人平台

• UR5e 机械臂用于探头操作（末端力/力矩传感；带跟踪探头标记）

传感器与相机

类型	型号/详情
医学成像	超声B模式——Wisonic Clover 60 + Wisonic C5-1凸阵探头，1920×1080 @ 30 FPS
房间/第三人称相机	NDI Polaris Vega VT RGB相机，1024×768 @ 30 FPS
RGB-D腕部相机	ZED 2，RGB+深度，640×480 @ 30 FPS（安装在探头末端执行器上）
力/力矩传感器	ATI Axia80-M8，30 HZ，末端执行器F/T传感器
光学跟踪器	NDI Polaris Vega VT，30 Hz，跟踪针/探头/相机/组件的位姿

动作与状态空间表示

• 数据格式：遵循LeRobot格式
• 动作表示：
  • 主要表示：绝对笛卡尔、相对笛卡尔、关节空间
  • 方向表示：四元数
  • 参考坐标系：机器人基坐标系、工具/末端执行器坐标系、世界/全局坐标系（通过光学跟踪器）、其他（标定的超声图像坐标系）
  • 动作维度：按受控子系统（探头操作和针插入）分别提供
• 状态表示：
  • 包含信息：关节位置、末端执行器位姿、力/力矩读数、其他（针和探头的光学跟踪位姿、标定变换）
  • 状态维度：关节位置（6个关节）、末端执行器位姿（UR5e基坐标系和NDI光学跟踪器坐标系）、针位姿（NDI坐标系）、力/力矩（6个分量）

数据同步方法

• 各流及速率：机器人运动学和力/力矩 @ 500 Hz；NDI光学跟踪 @ 60 Hz；RGB/RGB-D/超声 @ 30 FPS
• 延迟测量：机器人执行受控正弦运动，各传感器流观察运动，通过测量各传感器与机器人参考之间的相位差来估计每流延迟（使用PLUS Toolkit计算）
• 对齐：使用测量延迟校正时间戳，通过插值/重采样对齐异步流，生成统一的时间对齐轨迹
• 记录：所有原始流和遥操作输入记录在ROS（rosbag）中

归属与联系方式

• 数据集负责人：Shing Shin Cheng、Wei Wang、Qingpeng Ding、Yuelin Zhang、Zhouyang Hong、Luoyao Kang、Wenxuan Xie
• 机构：香港中文大学；中山大学附属第一医院
• 联系邮箱：[e-mail]

搜集汇总

数据集介绍

构建方式

US-PPNR数据集由香港中文大学与中山大学附属第一医院联合构建，旨在为超声引导下肝脏穿刺活检中的自主探头放置与针具回收任务提供多模态训练资源。数据采集依托UR5e机械臂操控超声探头，并整合了Wisonic Clover 60超声B模式影像、NDI Polaris Vega VT光学追踪系统、ZED 2腕部RGB-D相机、ATI Axia80-M8力/力矩传感器等多源设备。整个流程包含探头扫描放置、针具跟踪及探头自适应调整以维持可视化等环节，共计采集2,546条轨迹，总时长超过10小时。所有模态通过机器人执行正弦运动进行延迟标定，结合PLUS Toolkit实现亚毫秒级时间同步，最终按LeRobot格式导出统一的动作与状态空间表示。

使用方法

数据集中每个轨迹以LeRobot格式组织，用户可通过HuggingFace或Google Drive链接下载PP.tar.gz和NR.tar.gz两个压缩包，分别对应探头放置与针具回收任务。使用时需加载包含超声图像、RGB视频、深度图、关节位置、末端执行器位姿、力/力矩及光学追踪数据的时间同步观测序列，并结合以绝对或相对笛卡尔坐标与四元数表示的探头及针具增量动作。推荐基于模仿学习或视觉-语言-动作模型框架解析数据，调用标准的观测字典（如observation.state.joint_positions）与动作键（如action.probe_delta）进行策略训练与评估。该数据集遵循CC BY 4.0许可，使用时应引用原始文献。

背景与挑战

背景概述

超声引导下肝脏穿刺活检是肝癌诊断的黄金标准，但其依赖操作者经验，存在图像解读歧义与手眼协调挑战。为此，香港中文大学SRIL实验室与中山大学附属第一医院于2025年联合发布了US-PPNR多模态数据集，旨在推动自主探针放置与针具回收的机器人学习研究。该数据集涵盖2546条轨迹、超10小时的临床及仿体实验数据，同步采集超声B模式、多视角视频、机器人运动学、力觉与光学追踪信息。作为Open-H Embodiment计划的一部分，它为视觉-语言-动作模型与模仿学习政策提供了标准化的训练基准，显著强化了手术机器人领域的数据生态。

当前挑战

US-PPNR数据集主要应对两大挑战。在领域问题层面，超声引导穿刺面临软组织变形导致的目标偏移、超声图像噪声干扰针尖追踪、以及人体组织声学异质性造成的可视化质量波动，这些因素共同限制了自主穿刺的鲁棒性与临床转化。在构建过程中，团队面临多模态传感器（500Hz机器人数据、60Hz光学追踪、30Hz视频）的精确时间同步难题，需通过PLUS工具包计算正弦运动相位差来校准延迟；同时，操作者技能差异（涵盖专家、中级与新手）导致动作轨迹的变异性，要求数据采集方案具备足够的泛化覆盖以模拟真实临床场景中的多样化策略。

常用场景

经典使用场景

US-PPNR数据集专为超声引导下肝脏穿刺活检的自主化机器人操作而设计，其经典应用场景涵盖探针自主放置与针具回收两大核心任务。在探针放置任务中，数据集提供了机器人从初始位姿出发，通过持续观察超声图像与多视角视频反馈，调整机械臂末端执行器以精准贴合肝脏目标区域的完整轨迹。针具回收任务则聚焦于穿刺过程中，机器人需实时跟踪针尖在组织内的位置变化，并动态调整探针倾角以维持针体的清晰可视化。这些场景以2546条时间同步的多模态轨迹呈现，融合了超声B模图像、RGB-D腕部视频、力/扭矩传感以及光学追踪数据，为模仿学习与视觉-语言-动作策略的端到端训练奠定了坚实基础。

解决学术问题

该数据集系统性地解决了超声引导下肝脏穿刺活检机器人化过程中长期存在的核心学术瓶颈——多模态感知与控制策略的协同学习困境。传统研究中，机器人自主操作常受限于单一模态信息的不完备性，例如单纯依赖超声图像难以在组织形变与针尖位移背景下维持稳定的视觉跟踪。US-PPNR通过提供同步的机器人运动学、力觉传感、光学追踪及超声成像数据，首次使研究者能够训练可融合异构信息的策略网络，从而攻克探针接触力自适应调整与针体遮挡条件下的鲁棒回收等关键难题。其发布填补了开源数据在微创介入机器人领域的大规模、多模态空缺，推动了从感知到执行的全链条可复现研究范式变革。

实际应用

在实际临床转化层面，US-PPNR数据集为开发安全、高效的肝脏穿刺辅助机器人系统提供了关键训练资源。基于该数据训练的模仿学习策略可直接部署于协作型医疗平台，在体模和离体组织上执行半自主化活检流程，显著降低对操作者手眼协调经验的依赖。具体而言，机器人可依据超声回波特征自动识别靶点区域，以亚毫米级精度引导穿刺针进入病灶，同时在针体前进过程中通过力觉反馈规避肝包膜或血管等危险结构。数据集的多样性——涵盖不同组织模型、病变位置及操作风格——确保了策略对临床场景差异的泛化能力，为从实验室向手术室的迁移铺平了道路。

数据集最近研究

最新研究方向

在微创手术智能化浪潮中，US-PPNR数据集为超声引导下肝脏穿刺活检的自主化操作提供了多模态、高保真的研究基石。当前前沿方向聚焦于融合视觉-语言-动作大模型的模仿学习策略，利用该数据集中同步采集的超声B模式影像、多视角RGB视频、机器人运动学与力触觉信息，训练机器人完成探头自主放置与针具精准回收的复杂任务。通过涵盖不同操作者技能水平、目标病变位置及插入角度的多样化轨迹，该数据集有效支撑了从感知到控制的端到端策略学习，推动了手术机器人在动态解剖环境下的自适应视觉追踪与灵巧操控能力，有望显著提升活检穿刺的标准化水平与临床安全性。