fmb-insert-4cam

FMB（功能操作基准）插入基元——完整数据集，已转换为LeRobot v3.0格式用于pi0.5（pi05）SFT。包含4,049个片段/178,501帧/54个任务——所有54个插销（9种形状×3种尺寸×2种长度），每个任务75个片段。FMB (Functional Manipulation Benchmark) Insertion Primitives -- Full Dataset, converted to LeRobot v3.0 format for pi0.5 (pi05) Supervised Fine-Tuning (SFT). This dataset includes 4,049 episodes, 178,501 frames, and covers 54 tasks, encompassing all 54 insert types (9 shapes × 3 sizes × 2 lengths), with 75 episodes per task.

原始信息汇总

数据集概述：DAVIAN-Robotics/fmb-insert-4cam

基本信息

• 数据集名称: FMB (Functional Manipulation Benchmark) insert 原语完整集
• 格式: 已转换为 LeRobot v3.0，适用于 pi0.5 (pi05) SFT
• 许可协议: CC BY 4.0
• 机器人类型: Franka
• 数据集大小: 数据文件约 100 MB，视频文件约 200 MB

数据规模

指标	数值
总片段数	4,049
总帧数	178,501
任务数	54
每个任务的片段数	75
采样频率	10 fps（实际控制频率约 9 Hz）

任务描述

该数据集涵盖 54 种插销任务，对应 54 种不同尺寸的插销（9 种形状 × 3 种尺寸 × 2 种长度），每种插销各 75 个片段。另有两个单插销子集可供使用：

• DAVIAN-Robotics/fmb-insert-2LS-4cam（形状 2 / 大型 / 短型，即圆柱体）
• DAVIAN-Robotics/fmb-insert-1MS-4cam（形状 1 / 中型 / 短型，即六边形）

数据来源

• 衍生自 UC Berkeley RAIL 实验室发布的 FMB 单物体操作数据集（insert_only_*.npy）
• 原始数据集遵循 CC BY 4.0 许可协议，本派生数据集沿用相同许可

数据变更说明

保留内容

除深度图外的所有原始 .npy 字段均保留。

移除内容

• 移除了 4 个深度图（uint16 256×256×4 = 512 KB/帧，总计超过 120 GB），如需深度数据请参考原始 .npy 文件。

相机映射

4 个 RGB 视角已重映射至 pi05 相机插槽：

• side_1 → base_0_rgb
• wrist_1 → left_wrist_0_rgb
• wrist_2 → right_wrist_0_rgb
• side_2 → side_1_rgb（第四个为额外插槽，超出 lerobot/pi05_base 训练的 3 个相机）

数据字段说明

状态与动作

• observation.state (8维): TCP 姿态 (7维) + 夹爪开合度 (1维)
• action (7维): FMB 原始命令动作 — 归一化笛卡尔增量 [-1, 1] × 6 + 夹爪开合度。注意这是增量动作，不是绝对位姿，请勿再加增量变换。

保留的原始字段

字段	维度	说明
tcp_pose	7	TCP 绝对位姿
tcp_vel	6	TCP 速度
gripper	1	夹爪开合度
joint_pos	7	关节位置
joint_vel	7	关节速度
tcp_force	3	TCP 接触力
tcp_torque	3	TCP 接触力矩
jacobian	42	雅可比矩阵（6×7，行主序）
primitive_id	1	原语 ID
object_meta	6	物体属性：形状、尺寸、长度、颜色、角度、干扰物

图像数据

4 个 RGB 视频流，分辨率 256×256，AV1 编码，10 fps。

实测属性（数据集中自行测得，非 FMB 官方文档数据）

• 实际控制频率约为 9 Hz（并非整 10 Hz）。通过每帧 TCP 位移与 tcp_vel 匹配计算，中位 dt 为 0.111 秒（各片段间 8.2–9.2 Hz）。fps 存储为 10，仅影响 LeRobot 时间戳和块解释；由于动作是增量形式，以不同频率部署的策略会按比例加速或减速移动。
• 一个动作单位约等于 12–18 mm：回归每帧位移与动作的关系，x / y / z 方向分别为 11.5 / 17.7 / 11.6 mm 每单位（相关系数 0.75 / 0.87 / 0.53；z 方向相关性最低，因为接触阻力抵抗了指令运动）。
• 片段长度分布广泛：最短 17 步，中位数 46 步，p95 为 79 步，最长 128 步。
• 转换过程中，每个片段的 object_info 均已与对应文件名交叉验证。

形状编号说明

object_meta[0] 为 FMB 形状编号。仅凭尺寸无法将编号与已发布的 CAD 模型对应，因为九种形状中有三种为圆形截面，仅直径不同。形状 2、3 和 8 属于圆形系列；形状 2 为大型圆柱体（S / M / L 直径分别为 32.43 / 40.32 / 49.81 mm）。

数据集结构

• 数据格式: Parquet 文件 + MP4 视频
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练/测试划分: 全部 4,049 个片段用于训练

引用

使用本数据集时请引用原始工作：

bibtex @article{luo2024fmb, title={FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning}, author={Luo, Jianlan and Xu, Charles and Liu, Fangchen and Tan, Liam and Lin, Zipeng and Wu, Jeffrey and Abbeel, Pieter and Levine, Sergey}, journal={arXiv preprint arXiv:2401.08553}, year={2024} }