xarm_charger_binmarker9
收藏资源简介:
该数据集由xArm7机器人通过手机远程操作采集,任务为“拿起充电器并插入最近的插座”。覆盖层为binmarker9,在每个手指的9个传感器单元上绘制固定长度和方向的箭头(指向传感器平面法线方向),仅当该指尖的二进制接触状态为ON时显示。数据集包含100个episodes,共23808帧,采样频率10Hz,采用LeRobot v2.1格式。提供agent视角和手腕视角图像(224x224x3,覆盖层已烧录到图像中),8维状态(末端执行器位置、轴角、夹爪状态,其中夹爪状态重复两次),以及7维动作(世界坐标系增量:位移、轴角、夹爪动作在{-1,+1}之间)。覆盖层仅携带每个手指的接触位,不包含力的大小和方向信息。该变体是匹配对的一部分,用于测量模型对覆盖层呈现方式(而非力信息)的敏感度。
Dataset collected by xArm7 robot via phone teleoperation, task: pick up the charger and plug it into the nearest socket. Overlay: binmarker9, with fixed-length arrows drawn on 9 sensor units per finger (pointing along sensor plane normal), displayed only when the binary contact state of that fingertip is ON. Dataset contains 100 episodes, 23808 frames, sampling frequency 10Hz, LeRobot v2.1 format. Provides agent view and wrist view images (224x224x3, overlay baked into images), 8-dimensional state (end-effector position, axis-angle, gripper state repeated twice), and 7-dimensional action (world-coordinate delta: displacement, axis-angle, gripper action in {-1,+1}). Overlay carries only contact positions per finger, not force magnitude or direction. This variant is part of a matched pair to measure model sensitivity to overlay presentation (not force information).
数据集概述:xarm_charger_binmarker9
该数据集是一个用于机器人操作任务的 xArm7 手机遥操作数据集,任务目标为 "拿起充电器并将其插入最近的插座"。数据集由 EdwardoSunny 提供,采用 MIT 许可证,标注为 LeRobot、robotics、tactile、xarm 等类别。
1. 数据集的视觉叠加层设计
- 叠加类型:在相机帧中烧录了名为
binmarker9的触觉叠加层。 - 叠加内容:每个夹爪手指上绘制 9 个箭头,分别对应传感器垫的 9 个前向运动学投影单元。
- 箭头属性:所有箭头具有 固定长度和固定方向(方向为传感器框架的垫法线,类似手指上的刚性“旗帜”)。
- 绘制条件:仅当该手指的 二值接触状态为 ON 时绘制。
- 信息携带:叠加层 仅包含每根手指的接触位(二值),不包含力大小或力方向信息。
2. 变体对照与设计目的
该数据集属于一组“匹配对”中的一个变体,用于在保持信息内容恒定的前提下,仅改变呈现方式:
| 变体名称 | 每指箭头数 | 接触位 | 方向 | 力大小 |
|---|---|---|---|---|
binmarker |
1 | 是 | 否 | 否 |
binmarker9 |
9 | 是 | 否 | 否 |
- 可控性验证:由于 9 个箭头均携带相同的固定方向与长度,绘制结果 与触觉值无关(在固定位姿下对 300 个随机力读数进行测试,像素变化为 0)。
- 研究目的:
binmarker9比binmarker多呈现约 3.1 倍的箭头墨水,因此这一对照用于衡量模型对 叠加层呈现方式 / 显著性 的敏感度,而非对力信息的敏感度。 - 外观说明:因为 9 个箭头方向一致,且传感器单元间距约 1 cm,视觉效果为 粗重叠标记,而非 9 个可单独计数的箭头。这由消融设计所决定——9 个不含方向或大小信息的箭头必须完全一致。
3. 接触检测与阈值设定
- 触觉阵列:3x3x3 轴向触觉阵列,生成每指二值接触信号。
- 归一化偏移:使用每个 episode 的前 10 帧(归位后、夹爪张开)的中位数作为偏移。若使用整个数据集的中位数,会被接触状态污染(如充电任务中 60% 帧为闭合状态,会错误产生约 1.2 的虚假力幅值)。
- 度量标准:取 9 个单元中归一化单元向量 L2 范数的最大值(max-cell)。
- 阈值设定:空闲状态 p99.5 ≤ 0.24,真实接触 ≥ 约 0.3。
- 迟滞与去抖:采用 Schmitt 触发器——连续 2 帧 ≥ 0.25 时开启,连续 3 帧 < 0.18 时关闭,并在 episode 边界重置状态。
- 一致性:接触检测器和阈值与
binmarker变体完全一致,确保两种变体基于完全相同的接触信号进行门控。
4. 数据内容与格式
- 规模:100 个 episodes,共 23,808 帧,采样频率 10 Hz,格式为 LeRobot v2.1。
- 图像通道:
image(224x224x3,智能体视角)wrist_image(224x224x3)- 上述叠加层已烧录于其中。
- 状态(state):8 维,包含末端执行器位置(米)、轴角(弧度)、夹爪开合状态(grasp,重复两次)。
- 动作(actions):7 维,世界坐标系增量,包括位置增量(dxyz_m)、轴角增量(daxis_angle_rad)、夹爪动作(grasp ∈ {-1, +1})。
5. 来源与关联模型
- 数据来源:与该任务的其他叠加层变体共享相同的原始录制数据,仅烧录的像素不同。
- 配套模型:本数据集提供了对应的 LoRA 微调模型:EdwardoSunny/pi05_xarm_charger_binmarker9_lora



