seriintan/artery_medical_tools

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=seriintan/artery_medical_tools">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 40,
"total_frames": 17390,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:40"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人模仿学习提供高质量的演示数据。数据采集自so_follower机器人平台，共包含40个演示片段，总计17390帧图像，所有片段均用于训练。数据以Parquet格式存储，并配有同步的AV1编码视频，分别来自正面和侧面两个视角，分辨率统一为640×480像素，帧率为30 FPS。每次演示记录了6维的关节空间动作与状态信息，涵盖肩部、肘部、腕部及夹爪位置。

特点

该数据集聚焦于单一任务场景——动脉医疗工具操作，具有明确的专业应用背景。其独特之处在于同时提供了高精度的机器人运动状态数据与多视角视觉观测，视觉与状态信息在时间轴上严格对齐，便于模型学习多模态之间的映射关系。数据总量约300 MB，其中视频数据占三分之二，体现了对视觉信息的重视。此外，所有样本结构统一，序列长度一致，有利于简化模型训练中的数据处理流程。

使用方法

使用该数据集时，首先需安装LeRobot库并加载预定义的数据加载器。通过指定数据集路径与配置名称'default'即可自动读取Parquet文件中的状态序列和对应的视频帧。用户可根据任务需求选择不同的观测模态，例如仅使用状态信息或融合视觉与状态特征进行策略学习。推荐的基线方法为行为克隆或基于扩散的策略模型，训练时可将40个片段按8:2比例划分为训练集与验证集，以评估模型的泛化性能。

背景与挑战

背景概述

在机器人学习领域，模仿学习凭借其从人类示范中高效获取技能的潜力，成为推动智能体自主操作的重要范式。动脉医疗工具数据集（artery_medical_tools）由Hugging Face社区基于LeRobot框架开发，旨在为精细医疗操作任务提供标准化训练与评估基准。数据集创建于2024年，通过so_follower机器人平台采集，包含40个示范回合、共计17390帧高保真数据，覆盖单一核心任务：基于视觉反馈的六自由度机械臂操控。该数据集聚焦于医疗场景中动脉相关工具的精准操作，其发布填补了机器人辅助手术中低成本、可复现数据资源的空白，为迁移学习、跨模态泛化等前沿研究提供了关键支持，对推动医疗机器人智能化进程具有里程碑意义。

当前挑战

该数据集的核心挑战在于凝练的领域问题与构建过程中的技术瓶颈。领域层面，医疗工具操作要求亚毫米级精度与动态避障能力，而现有数据集多侧重通用物体抓取，难以支撑手术场景中复杂力反馈与软组织交互的建模需求；此外，单一任务配置（仅1种任务）虽简化了验证流程，却限制了算法在多样化医疗操作中的泛化性能。构建过程中，数据采集依托so_follower机器人的6维关节空间（含夹爪自由度），需应对高帧率（30 FPS）下传感器噪声与运动模糊的干扰，同时通过双视角摄像头（前视与侧视）捕获的640x480分辨率视频，在确保空间细节时亦面临光照变化与遮挡问题。最终数据存储采用Apache Parquet格式压缩，虽提升了吞吐量，却对实时数据处理管线提出了额外优化要求。

常用场景

经典使用场景

在机器人操作与模仿学习领域，artery_medical_tools数据集凭借其精细化的动作与观测记录，成为研究从人类示教中学习复杂工具操控行为的宝贵资源。该数据集包含40个完整序列，共计17390帧，以30帧/秒的频率同步采集了机器人关节状态（肩部、肘部、腕部及夹爪的六维位置）以及前向与侧向视角的视觉影像，为多模态感知与运动策略的联合建模提供了标准化的训练与评估平台。研究者可借此探索基于视觉与本体感觉的端到端策略学习，推动灵巧操作技能向更高自主性与适应性的演进。

解决学术问题

该数据集精准回应了机器人学习领域中样本效率低下与技能泛化能力薄弱的学术挑战。通过提供高质量、多视角的演示数据，artery_medical_tools助力研究者深入剖析从人机交互中提取操作意图的关键难题，例如如何从稀疏的高维观测中紧凑地表示技能，以及如何利用时序信息实现稳定的闭环控制。其结构化的动作空间与统一的采集规范，使得模型能够更好地解耦感知与运动模块，从而为跨任务的知识迁移与少样本学习提供可靠的数据基础，极大地促进了模仿学习理论体系的完善。

衍生相关工作

基于artery_medical_tools数据集，研究人员已衍生出多项具有代表性的工作，包括基于行为克隆的高精度工具轨迹预测方法、结合对比学习的多模态特征对齐框架，以及利用扩散模型生成鲁棒操作策略的前沿探索。这些工作不仅验证了数据集中动作与观测表示的有效性，还进一步推动了将人类示教知识高效转化为机器人内部表征的研究范式。该数据集作为LeRobot生态的重要组成部分，已催生了一系列关于数据增强、策略蒸馏与迁移泛化的原创性成果，持续为具身智能领域的理论突破与算法迭代注入活力。