fmb_multi
收藏资源简介：
FMB多物体（LeRobot v3）数据集是Functional Manipulation Benchmark（FMB）中多物体操作演示（组装板）的LeRobot数据集v3移植版本，使用Franka Panda机械臂记录。这是一个重新格式化的衍生版本，而非原始发布。数据集包含三个组装板（board_1, board_2, board_3）的演示，共1804个episodes（board_1: 600, board_2: 600, board_3: 604），总计338,188帧，帧率为10 fps。特征包括：来自四个摄像头（side_1, side_2, wrist_1, wrist_2）的RGB图像（分辨率256×256，已从BGR转换为RGB）、机器人状态（关节位置（7维）、关节速度（7维）、末端执行器位姿（7维）、末端执行器速度（6维）、夹爪状态（1维））、末端执行器力（3维，基于末端执行器坐标系）、末端执行器扭矩（3维，基于末端执行器坐标系）、雅可比矩阵（42维）以及命令的笛卡尔动作（7维）。每帧任务标注为激活的技能原语（如抓取、插入、重新抓取、放置到夹具）。注意：数据集未包含深度图，动作直接使用FMB命令动作，未进行下一姿势重建。
数据集概述：FMB multi-object (LeRobot v3)
数据集名称：FMB multi-object (LeRobot v3)
许可证：CC-BY-4.0
任务类别：机器人学 (robotics)
标签：LeRobot, fmb, 操作 (manipulation), Franka, 力/力矩, 接触丰富, 装配
数据集规模：100K < n < 1M 帧
数据集来源与说明
- 本数据集是 FMB (Functional Manipulation Benchmark) 多对象操作演示 的重新格式化版本，原始数据和完整文档由原作者发布（链接）。
- 对应论文：arXiv:2401.08553 (arXiv链接)
- 项目主页：Functional Manipulation Benchmark
- 单对象对应数据集：robot-lev/fmb
数据集内容
- 演示集数：1804 个 episode
- board_1: 600 集
- board_2: 600 集
- board_3: 604 集
- 总帧数：338,188 帧，帧率 10 fps
- 机器人：Franka Panda
- 摄像头：
side_1、side_2、wrist_1、wrist_2（RGB，分辨率 256×256）
- 每帧任务：包含活动的技能原始动作（skill primitive），如 grasp（抓取）、insert（插入）、regrasp（重新抓取）、place_on_fixture（放置到夹具上）
特征字段说明
| 键 | 数据类型 | 形状 | 说明 |
|---|---|---|---|
observation.images.{side_1,side_2,wrist_1,wrist_2} |
video | 256×256×3 | RGB 图像（由 FMB 的 BGR 转换而来） |
observation.state |
float32 | (28,) | 关节位置 (7)、关节速度 (7)、末端执行器位姿 (7)、末端执行器速度 (6)、夹爪 (1) |
observation.state.joint_position |
float32 | (7,) | 关节位置 |
observation.state.ee_pose |
float32 | (7,) | 末端执行器位姿（xyz + 四元数，基座坐标系） |
observation.state.gripper |
float32 | (1,) | 夹爪状态（0=张开，1=闭合） |
observation.force |
float32 | (3,) | 末端执行器力（末端执行器坐标系） |
observation.torque |
float32 | (3,) | 末端执行器力矩（末端执行器坐标系） |
observation.jacobian |
float32 | (42,) | 机器人雅可比矩阵 (6×7)，展平 |
action |
float32 | (7,) | 指令笛卡尔动作（xyz, rpy, gripper） |
- 每 episode 的元数据（
board、object_id、trajectory_id、primitives）存放在meta/fmb_episodes.json中。
重要说明（请阅读）
- 深度图像已丢弃：仅包含 RGB、力/力矩、本体感知和动作数据，不包含 FMB 原有的 4 个深度图。
- BGR → RGB：原始 FMB 图像为 BGR 格式，本数据集已转换为 RGB。
- 动作数据：直接使用 FMB 的命令动作（commanded action），未进行下一帧位姿重建。
- 帧率：标称 10 fps，源
.npy文件不含时间戳，帧与帧之间为 1:1 映射。
引用
bibtex @article{luo2024fmb, title = {FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning}, author = {Luo, Jianlan and Xu, Charles and Liu, Fangchen and Tan, Liam and Lin, Zipeng and Wu, Jeffrey and Abbeel, Pieter and Levine, Sergey}, journal = {arXiv preprint arXiv:2401.08553}, year = {2024} }
