Sichang0621/yam-vital-left-hand

这是一个遥操作数据集，任务为“抓取vital并将其插入支架中”。数据集使用limb在yam机器人手臂上收集，具体针对左臂操作。数据集包含350个episodes，总计113,165帧，帧率为30 Hz。数据格式遵循LeRobot v3.0标准。观测状态空间包括7个维度，对应左臂的6个关节和左夹爪；动作空间同样有7个维度，与状态空间一一对应。数据集还提供了两个摄像头视角：头部摄像头和左手腕摄像头，视频编码为hevc。Teleoperation dataset: Grasp the vital, and insert it into the stand. Collected with limb on yam arms. The dataset includes 350 episodes, 113,165 total frames at 30 Hz FPS, in LeRobot v3.0 format. The state space has 7 dimensions for left arm joints and gripper, and the action space is aligned with the state space. Cameras include head_camera and left_wrist_camera with hevc video codec.

搜集汇总

数据集介绍

构建方式

该数据集名为yam-vital-left-hand，源自机器人遥操作领域，旨在完成“抓取生命体征监测仪并插入支架”的精细操作任务。数据集基于yam机器人平台，借助limb遥操作套件进行采集，共包含350个演示回合，总帧数达113,165帧，采样频率为30赫兹，以LeRobot v3.0格式存储。数据由头部相机和左手腕相机同步录制，视频编码采用hevc标准，确保了视觉信息的清晰度和压缩效率。状态空间与动作空间均设计为7维向量，涵盖六个关节状态与一个夹爪自由度，且状态与动作索引一一对齐，便于模型直接映射。值得注意的是，夹爪维度在状态（原始电机弧度）与动作（遥操作指令空间）间采用不同的单位，通过机器人的JointMapper在指令执行时进行重新缩放，体现了真实硬件交互中的物理约束。

特点

该数据集的核心特色在于其针对单臂精细操作任务的专一性设计，任务明确聚焦于“抓取并插入”这一典型工业与医疗场景中的关键动作序列。数据采集源自真人遥操作，确保了示范轨迹的自然性与灵巧性。双相机配置（头部与左手腕）提供了不同视角的视觉信息，有助于模型学习空间感知与手眼协调。350个回合的规模虽不算庞大，但结合30赫兹的高频率采样，每一回合均记录了密集的时间序列，为模仿学习或行为克隆提供了丰富的运动细节。此外，状态与动作空间的严格对齐简化了模型输入输出的设计复杂度，而针对夹爪不同单位的特殊说明则凸显了数据集对真实机器人硬件特性的忠实还原，这对于迁移学习与域适应研究具有重要价值。

使用方法

该数据集可直接通过LeRobot库进行加载与使用，推荐采用LeRobotDataset类接口。用户仅需在Python环境中执行`from lerobot.datasets.lerobot_dataset import LeRobotDataset`并传入模型仓库标识符（如`<repo_id>`），即可实例化数据集对象，并快速获取回合数、总帧数及单步观测状态等信息。数据以parquet格式存储于`data/**/*.parquet`路径下，兼容主流数据处理框架。加载后，研究者可提取`observation.state`作为模型输入，以`action`作为训练标签，开展模仿学习或基于视觉的运动规划等任务。由于状态与动作维度一致且索引对齐，模型可直接输出关节角度指令，简化了策略网络的设计。同时，建议使用者在处理夹爪数据时留意状态与动作单位的差异，必要时根据JointMapper进行缩放转换。

背景与挑战

背景概述

在机器人操作领域，灵巧抓取与精密装配任务始终是自动化研究的前沿挑战。由TToTMooN团队于2023年基于yam双臂机器人平台构建的vital_left_hand数据集，聚焦于“抓取生命体征监测设备并插入支架”这一典型精细操作任务。该数据集通过遥操作采集，包含350个示范片段、逾11万帧时序数据，以30Hz频率记录7维关节状态与动作空间，并配备头戴式与左腕双目视觉输入。其核心研究问题在于如何通过模仿学习使机器人掌握从自由空间抓取到受限环境装配的连续动作策略，为机器人手术辅助、实验室自动化等精密操作场景提供基准训练资源。数据集采用LeRobot v3.0格式，Apache 2.0开源协议发布，推动了机器人操作学习领域的标准化进程。

当前挑战

本数据集所应对的领域问题首要在于解决机器人对易碎或精密物体的自适应抓取与精确入位问题，其难点体现在：物体几何多变且作业空间受限，要求策略具备对夹爪开合度与关节角度的亚毫米级协同控制能力；同时，状态与动作空间虽行索引对齐，但夹爪维度在原始电机弧度与遥操作指令空间存在量纲差异，增加了策略迁移的复杂性。构建过程中面临的核心挑战包括：遥操作数据的质量一致性——不同操作员演示时的成功标准与操作轨迹风格差异易引入噪声；双目视觉信息（HEVC编码）在高帧率下的存储损耗与实时性平衡；以及左右夹爪因硬件行程不同导致的值域差异，需设计鲁棒的缩放映射机制以保障跨机器人平台的泛化性能。

常用场景

经典使用场景

在机器人操作与灵巧抓取领域，精细化操控任务始终是衡量算法泛化能力与鲁棒性的试金石。该数据集聚焦于“抓取生命体征监测仪并插入支架”这一高度结构化的医疗辅助场景，为模仿学习与行为克隆算法提供了350条高质量遥操作演示轨迹。每条轨迹涵盖30Hz采样的头戴与腕部双视角视频流，以及7维关节状态-动作对齐数据，尤其适合作为端到端策略学习的基准。研究者可依托其连续动作空间与多模态观测信息，训练机器人掌握从目标定位、稳定抓取到精确插入的完整操作技能，是评估模型在接触密集任务中时序平滑性与力位混合控制能力的理想平台。

实际应用

在实际场景中，该数据集训练的策略可直接部署于协作型机械臂，应用于医院急救设备准备、实验室样品转移等需精确抓取-放置的重复性任务。其遥操作采集范式与开源硬件兼容性也为工业自动化提供了低成本原型验证路径。当前版本的作业空间定义虽聚焦于特定器材，但所涉及的“从松散环境中识别目标→自适应抓取→对准接口→完成插入”的完整行为链，本质上可作为服务机器人执行医疗器械准备、精密仪器装配等任务的通用技能模板。

衍生相关工作

该数据集衍生出的典型工作集中在利用LeRobot生态的算法库进行策略对比研究，例如基于扩散策略的行为克隆、隐式Q学习与视觉-语言-动作联合建模等前沿方法。由于数据集采用了关节空间1:1对齐的动作表示，其训练的策略可直接输出低层次驱动指令，为后续研究“遥操作数据中的非凸最优轨迹建模”以及“多视角特征融合对插入任务成功率的增益”等工作提供了可直接引用的基线。此外，yarm开源硬件平台与标准指令集的设计，使其成为跨机器人形态迁移学习的优选数据源。