fr3-leader-command-pilot
收藏资源简介：
这是一个使用Franka Research 3机器人和GELLO遥操作设备记录的遥操作数据集，包含4个成功片段（共1092帧），任务为“拿起蓝色茶杯并放在黄色碗上”。数据采集频率为20 Hz，包含agent摄像头（RealSense D455）和腕部摄像头（D405），图像分辨率为256×256 RGB。特征包括：observation.state（8维，表示从动臂的测量关节位置和夹爪状态）、observation.commanded_state（8维，表示GELLO主臂命令）、action（8维，等于observation.commanded_state，即主臂命令）。该数据集验证了使用主臂命令作为动作空间的重要性，并指出旧约定（使用从动臂实际状态）会导致跟踪滞后和性能下降。数据集仅用于演示，不适合训练或基准测试。
This is a teleoperation dataset recorded using the Franka Research 3 robot and the GELLO teleoperation device, containing 4 successful segments (totaling 1092 frames), with the task being "pick up the blue teacup and place it on the yellow bowl". The data is collected at 20 Hz, and includes images from the agent camera (RealSense D455) and the wrist camera (D405), with the image resolution set to 256×256 RGB. The features include: observation.state (8-dimensional, representing the measured joint positions and gripper state of the follower arm), observation.commanded_state (8-dimensional, representing the commands from the GELLO master arm), and action (8-dimensional, equal to observation.commanded_state, i.e., the master arm commands). This dataset validates the importance of using master arm commands as the action space, and points out that the old convention (using the actual state of the follower arm) will lead to tracking lag and performance degradation. This dataset is for demonstration purposes only and is not suitable for training or benchmarking.
数据集概述：FR3 Leader-Command Pilot
本数据集是一个**试点性（Pilot）**遥操作数据集，旨在验证修正后的动作约定（Action Convention）是否正确，并非用于训练的完整数据集。
基本信息
| 属性 | 内容 |
|---|---|
| 任务 | 拾起天蓝色杯子并放入黄色碗中（pick up the skyblue cup and place it on the yellow bowl） |
| 机器人平台 | Franka Research 3 (FR3) + GELLO 主臂 |
| 数据规模 | 4 个 Episode，共 1092 帧（各段帧数：319、208、347、218），全部标记为成功（success=True） |
| 采样频率 | 20 Hz |
| 相机配置 | 外部相机（RealSense D455）+ 腕部相机（D405），分辨率 256×256 RGB |
| 数据大小 | 约 6 MB |
| 许可证 | Apache-2.0 |
数据字段说明
| 特征 | 形状 | 含义 |
|---|---|---|
observation.state |
(8,) | 从臂（Follower）实测关节位置 + 夹爪状态 |
observation.commanded_state |
(8,) | GELLO 主臂（Leader）指令值 |
action |
(8,) | 等于 observation.commanded_state（主臂指令） |
核心设计动机
动作约定修正：本数据集采用主臂（Leader）的关节指令作为 action，而非从臂（Follower）的实际执行状态（state[t+1]）。原因如下：
- 从臂运行在临界阻尼参考滤波器（ωn = 10 rad/s，v_max = 1.0 rad/s）之后，会滞后主臂约 4 个时间步。
- 主臂与从臂之间的滞后中位数为 0.011 rad，最大为 0.48 rad，该“领先量”仅存在于指令中，是驱动手臂前进的关键。
- 旧约定（将从臂实际状态作为 action）会导致策略无法发出“追赶”指令，在重规划时反复重新锚定跟踪滞后，造成运动倒退。
仿真对比结果：
| 约定 | 边界回归 | 块效率 | 耗时 |
|---|---|---|---|
| 旧的（实测 state[t+1]） | +2.50 步（100% 边界） | 83% | 131%（慢 31%） |
| 本数据集（主臂指令） | −1.00 步（保持领先） | ~100% | 99.9% |
−1.00 步是完美跟踪的标志：每个块精确结束于其指令边界，下一块从边界后一步开始。
局限性
- 仅 4 个 Episode：属于试点验证，不建议用于训练或基准测试。
- 单一任务、单一场景布局：泛化性有限。
- 主臂指令比实际轨迹更粗糙（加速度均方根约为实测轨迹的 8 倍），参考滤波器可滤除该粗糙度，但策略是否能否干净地拟合该指令仍有待验证。
参考与工具
- 方法参考：Zhao et al., Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（ACT/ALOHA）——强调应使用主臂关节位置而非从臂位置，因为力的大小由两者之差隐式定义。
- 数据采集：GELLO 软件 + libfranka（FR3 控制）
- 数据转换：LeRobot v3.0
- 相关对比数据集（冻结旧约定）：
knu-physical-ai/fr3-action-space-case-study - 可视化工具：Visualize Dataset
