xarm_tube_binmarker9
收藏资源简介：
xArm7手机遥操作数据集，任务为“拿起管子并放入最近的槽”。该数据集包含一个名为“binmarker9”的触觉覆盖层，该覆盖层在相机帧中烧录了每个手指上的9个箭头（通过正向运动学投影到传感器垫单元），每个箭头具有固定长度和固定方向（传感器垫法线方向，如手指上的刚性“旗帜”），仅当该手指的二元接触状态为ON时绘制。该覆盖层仅携带每个手指的接触位，不包含力的大小或方向。该变体是为了研究覆盖层呈现/显著性对模型的影响，而不是触觉力信息。接触检测使用基于中位数的归一化偏移、最大单元格度量以及迟滞去抖（施密特触发器）。数据集包含97个episodes、18408帧（10Hz），格式为LeRobot v2.1，包括图像（224x224x3，智能体视角）和手腕图像（224x224x3，覆盖层已烧录），状态（8维：末端执行器位置、轴角、抓取、抓取），动作（7维世界坐标系增量：位移、轴角、抓取{-1,+1}）。
xArm7 phone teleoperation dataset for the task pick up the tube and place it into the nearest slot. The dataset features a tactile overlay named binmarker9 which burns nine arrows per finger (projected via forward kinematics onto sensor pad cells) into the camera frame, each arrow has fixed length and direction (sensor pad normal, like a rigid flag on the finger), drawn only when the binary contact state of that finger is ON. This overlay carries only the contact location per finger, not force magnitude or direction. This variant is designed to study the effect of overlay presence/saliency on models, not tactile force information. Contact detection uses median-based normalized offset, maximum cell metric, and hysteresis debouncing (Schmitt trigger). The dataset contains 97 episodes, 18408 frames at 10Hz, in LeRobot v2.1 format, including images (224x224x3, agent view) and wrist images (224x224x3 with overlay burned in), state (8-dim: end-effector position, axis-angle, gripper, grasp), and action (7-dim world-frame delta: displacement, axis-angle, grasp {-1,+1}).
数据集概述
xarm_tube_binmarker9 是一个用于机器人操作任务的数据集，基于 xArm7 机械臂通过手机遥操作采集，任务为“拿起管子并放入最近的槽位”。
核心特点
- 视觉叠加标记（Tactile Overlay）：在相机画面中，每个夹爪手指上绘制9个箭头（共9个前向运动学投影的触觉传感器单元），箭头方向与长度固定，仅在对应手指的二元接触状态为“开”时显示。
- 信息限制：叠加层仅携带每根手指的接触状态位（0/1），不包含力幅值或力方向。
变体对比
该数据集属于匹配对照实验的“9箭头”分支，用于研究叠加呈现方式的影响：
| 变体 | 每指箭头数 | 接触位 | 方向 | 幅值 |
|---|---|---|---|---|
| binmarker | 1 | 有 | 无 | 无 |
| binmarker9 | 9 | 有 | 无 | 无 |
由于9个箭头方向长度完全一致，渲染结果与触觉数值无关（在300次随机力读数下像素变化为0）。相比1箭头版本，9箭头版绘制的标记面积约为前者的3.1倍，用于衡量对叠加呈现/显著性的敏感性。
接触检测方法
- 归一化偏移：取每个轨迹前10帧（空闲状态）的中位数，避免接触污染。
- 检测指标：9个触觉单元归一化向量L2范数的最大值。空闲时p99.5 ≤ 0.24，真实接触 ≥ 0.3。
- 迟滞与去抖：连续2帧≥0.25时开启，连续3帧<0.18时关闭，轨迹边界处状态重置。
数据内容
- 规模：97个轨迹 / 18408帧，采样频率10 Hz，LeRobot v2.1格式。
- 图像：
image（agent视角）和wrist_image（腕部视角），均为224x224x3，已烧录叠加标记。 - 状态：8维（末端位置、轴角、夹爪开合×2）。
- 动作：7维世界坐标系增量（位移增量、轴角增量、夹爪指令±1）。
该数据集与同一任务的其他叠加变体共享相同的原始录制品，仅烧录像素不同。
关联模型
配套的LoRA微调模型：EdwardoSunny/pi05_xarm_tube_binmarker9_lora
