xarm_dishwasher_binmarker
收藏资源简介：
该数据集是使用xArm7机器人通过手机遥操作收集的，任务为“将篮子从洗碗机中拉出，拿起杯子放入篮子中”。数据集中包含binmarker触觉叠加层，该叠加层在相机帧中显示每个手指的固定长度箭头（箭头指向根据测量的合力方向，箭头仅在手指的二进制接触状态为ON时绘制），叠加层仅携带二进制接触状态和方向信息，不包含力的大小。数据集包含100个episodes（28096帧，10Hz采样），包括agent视角图像（224x224x3）和手腕图像（224x224x3，叠加层已烧入），以及8维状态向量（末端执行器位置、轴角、夹爪状态）和7维动作向量（世界坐标系下的位移、轴角变化、夹爪控制）。
This dataset was collected using an xArm7 robot via mobile phone teleoperation for the task pull the basket out of the dishwasher, pick up the cup, and place it into the basket. The dataset includes a binmarker tactile overlay that displays fixed-length arrows for each finger in the camera frame (arrow direction is based on the measured resultant force direction, arrows are drawn only when the binary contact state of the finger is ON), the overlay only carries binary contact state and direction information, not force magnitude. The dataset contains 100 episodes (28096 frames, sampled at 10Hz), including agent-view images (224x224x3) and wrist images (224x224x3, with overlay burned in), as well as an 8-dimensional state vector (end-effector position, axis-angle, gripper state) and a 7-dimensional action vector (displacement in world coordinates, axis-angle change, gripper control).
xarm_dishwasher_binmarker 数据集概述
基本信息
- 任务类型：机器人操作（robotics）
- 许可证：MIT License
- 标签：LeRobot、机器人、触觉感知、xarm
- 硬件平台：xArm7 机械臂，通过手机遥操作采集
任务描述
该数据集对应一个洗碗机场景任务：将洗碗机内的篮子拉出，拿起杯子并放入篮子中。
触觉叠加（Binmarker）设计
- 叠加方式：在相机图像帧上直接烧录触觉叠加标记
- 标记形式：
- 每个夹爪手指有固定长度箭头，锚定在手指中心垫位置（通过正向运动学计算）
- 箭头方向指向聚合力的方向
- 仅当该手指的二值接触状态为 ON 时绘制
- 信息来源：移植自 LIBERO_contact_overlay 项目的
binbars（二值接触门控）与arrow（空间箭头呈现）风格 - 特殊属性：叠加信息包含二值接触 + 方向，但不包含力的大小（箭头可见时长度恒定）
接触检测方法（阈值调优）
- 归一化偏移：使用每个 episode 前 10 帧（归位后、夹爪张开时的已知空闲帧）的中位数；数据集整体中位数会被接触污染
- 接触度量：取 3×3×3 轴触觉阵列中 9 个单元中归一化单元向量 L2 范数的最大值（"max-cell"）；空闲帧 p99.5 ≤ 0.24，真实接触 ≥ ~0.3
- 滞回与去抖（施密特触发器）：连续 2 帧 ≥ 0.25 则 ON，连续 3 帧 < 0.18 则 OFF，episode 边界重置状态
- 验证：全部 400 个 episode 上验证零空闲误报；每个任务额外对 5 个 episode 进行视觉检查
数据规模与格式
| 属性 | 内容 |
|---|---|
| Episode 数 | 100 |
| 帧数 | 28,096 帧 @ 10 Hz |
| 格式 | LeRobot v2.1 |
- 图像：
image（224×224×3，智能体视角）和wrist_image（224×224×3），均已烧录叠加标记 - 状态：8 维（末端位置、轴角、夹爪开合 ×2）
- 动作：7 维世界坐标系增量（位置增量、姿态增量、夹爪开合 ∈ {-1, +1}）
与其他变体的关系
与同一任务的其他叠加变体使用相同的源录制数据，仅烧录像素不同。该数据集位于消融层级：介于 points9_arrow_len0（仅位置）与 points9_arrow（完整力场）之间。
