yam_bimanual_tool_rack

一个绿色手柄的螺丝刀放在白色长凳上；一个黑色12孔工具架位于工作区后方。一只手臂抓住螺丝刀并将其插入工具架上的一个孔中。两个夹爪基本上都在其全范围内运动，因此该数据集锻炼了双手，而不是让一只手闲置。每一帧都包含测量的关节位置、遥操作员命令的关节位置以及三个同步的相机视图（一个主视角、两个手腕视角）。每个episode都带有相同的英文指令字符串。数据集包含36个遥操作episode，共70,611帧，时长约29.4分钟，以40 Hz的速率记录，使用3个480x640 RGB摄像头，总大小约1.0 GB。A green-handled screwdriver is placed on a white bench; a black 12-hole tool rack is located behind the workspace. An arm grasps the screwdriver and inserts it into one of the holes in the rack. Both grippers move through their full range of motion, so the dataset exercises both hands rather than leaving one idle. Each frame contains measured joint positions, teleoperator-commanded joint positions, and three synchronized camera views (one main view, two wrist views). Each episode is accompanied by the same English instruction string. The dataset consists of 36 teleoperated episodes, totaling 70,611 frames, approximately 29.4 minutes of duration, recorded at 40 Hz using three 480x640 RGB cameras, with a total size of about 1.0 GB.

原始信息汇总

数据集概述：YAM 双臂工具架放置

基本信息

• 任务类型：机器人操作（Robotics）
• 语言：英语
• 许可证：MIT
• 数据集规模：1K < n < 10K
• 格式：LeRobot v3.0（Parquet 表格 + 独立编码视频）
• 创建者：Kevin Patel (knpt)

任务描述

该数据集包含 36 段通过远程操作（teleoperation）录制的双臂机器人演示，任务为：机器人从工作台上拾起一把绿色手柄的螺丝刀，并将其插入工具架的孔中。数据集在真实硬件上以 40 Hz 频率记录，使用三个 RGB 摄像头同步采集。

数据统计

指标	数值
视频段数（Episodes）	36
总帧数	70,611
总时长	29.4 分钟（每段 41.1–72.8 秒，平均 49.0 秒）
控制频率	40 Hz
摄像头	3 × 480x640 RGB，AV1 / yuv420p 编码，40 fps
磁盘大小	约 1.0 GB

机器人平台

YAM 双臂机器人，具体配置为：

• 2 个 6 自由度（6-DoF）机械臂 + 每个臂 1 自由度夹爪，共计 14 个自由度
• 每个夹爪在演示中几乎全程运动，数据集充分覆盖双手机器人操作场景

数据字段结构

字段	形状	数据类型	说明
observation.state	(14,)	float32	实测关节位置
action	(14,)	float32	操作者命令的关节位置
observation.images.egocentric	(3, 480, 640)	float32	全景视角
observation.images.wrist_left	(3, 480, 640)	float32	左手腕摄像头
observation.images.wrist_right	(3, 480, 640)	float32	右手腕摄像头
timestamp, frame_index, episode_index, index, task_index	标量	—	LeRobot 标准字段

关节命名与范围

状态和动作采用统一的 14 元素顺序排列，使用真实关节名称：

left_yam_joint1 … left_yam_joint6, left_yam_gripper, right_yam_joint1 … right_yam_joint6, right_yam_gripper

重要提示：关节名称具有实际作用。训练代码常按名称选择关节（例如，通过子字符串匹配将夹爪从相对动作转换中排除）。使用通用命名的数据集（如 joint_0..joint_13）会导致训练完成后策略性能明显下降，且不会报错。

• 手臂关节单位为弧度
• 夹爪关节归一化到 [0, 1] 范围

关节运动范围示例（部分）

关节	最小值	最大值	关节	最小值	最大值
left_yam_joint1	−0.641	0.003	right_yam_joint1	−0.208	0.422
left_yam_joint2	0.004	2.403	right_yam_joint2	0.001	2.134
left_yam_gripper	0.000	0.999	right_yam_gripper	0.012	1.000

40 Hz 下每步最大运动量：手臂 0.0610 rad（p99.99 为 0.0373），夹爪 0.1249（p99.99 为 0.0874）。

数据划分

• 本仓库为训练集（training split）
• 验证集从第二次记录会话中划出 4 段 / 7,914 帧，未包含在本仓库中
• 划分按完整视频段进行，不会在视频中间切断
• 因此在此训练、在验证集上评估是真正的分布外测试（genuine holdout）

数据采集过程

采集方式

采用双侧遥操作（bilateral teleoperation）：操作员移动主导臂（leader arms），从动臂（follower arms）跟随，两路数据流均被记录。机器人状态以约 240 Hz 采样，摄像头以 30 Hz 采样，转换时统一重采样为 40 Hz 行频率。视频使用 AV1 / yuv420p 编码。

摄像头通过 USB 序列号寻址（而非 /dev/videoN），以防止设备重插拔后的编号变化导致录像指向错误摄像头。

采集会话

会话	贡献视频段数	备注
session_20260820_212015	15	仅包含干净的首次成功抓取
session_20260821_185006	21（共 25，保留 4 段）	包含故意重试的演示

数据生产者

单个人类操作员直接操作主导臂。未收集或包含人口统计信息。

标注信息

• 无后处理标注
• 唯一标签为每段视频统一应用的常数字符串指令："put the screwdrivers into the tool rack"
• 指令使用复数形式是有意为之：未来采集计划会增加更多工具，跨会话保持恒定字符串可确保策略依赖视觉而非语言进行条件判断

隐私与敏感信息

• 未有意包含个人数据：无人脸、姓名或身份元数据
• 操作员的手部大多不在摄像头视野内
• 注意：全景摄像头会捕捉周围房间环境，公开发布前需审查该视频流是否包含偶然内容（白板、屏幕、文件、过往人员等），并确认录制地点可以公开展示

数据用途

• 双臂操作的模仿学习 / 行为克隆
• 视觉-语言-动作（VLA）模型的后训练（已用于 GR00T N1.7 和 Pi0.5 的后训练）
• 插入类任务的基准测试（此类任务末端阶段受空间约束，抓取质量决定成败）

引用信息

BibTeX:

bibtex @misc{yam_bimanual_toolrack, author = {Patel, Kevin}, title = {YAM bimanual --- tool-rack placement}, year = {2026}, note = {Teleoperated demonstrations, LeRobot v3.0 format} }

APA:

Patel, K. (2026). YAM bimanual — tool-rack placement [Data set]. Teleoperated demonstrations, LeRobot v3.0 format.

关键术语

• LeRobot v3.0：Hugging Face 的机器人数据集格式，低维数据使用 Parquet 表格，每路视频独立编码，元数据存放于 meta/ 目录
• Episode：从初始位置到任务完成的一次完整尝试
• Action vs State：action 为操作者命令的关节位置，state 为手臂实测位置，两者差异由跟踪误差导致
• Relative actions：训练时将绝对关节目标转换为每步增量的方法；夹爪通常被排除在转换之外并保持绝对值
• Holdout / held-out split：从训练中排除的视频段，用于衡量泛化能力而非拟合度
• Open-loop error / MAE：对记录动作的教师强制预测误差，衡量拟合度，不衡量任务成功率