fmb

该数据集是FMB（Functional Manipulation Benchmark）单物体操作演示的LeRobot数据集v3端口，使用Franka Panda机械臂记录。它是一个重新格式化的衍生版本，将每个单物体演示转换为一个LeRobot episode，包含RGB图像流、本体感知、力和扭矩以及动作命令，帧率统一为10fps。数据集包含1844个episodes，共418,495帧图像，使用四个RGB摄像头（side_1, side_2, wrist_1, wrist_2），分辨率为256x256。观测数据包括图像、状态（关节位置和速度、末端执行器位姿和速度、夹爪状态）、末端执行器力和扭矩（在EE坐标系中）、雅可比矩阵，以及动作命令（笛卡尔空间命令：xyz、rpy、夹爪）。数据集丢弃了原始FMB的深度图，并将图像从BGR转换为RGB格式。动作命令是FMB的原始命令，未进行下一姿态重建。数据集仅包含单物体子集，不包含多物体子集。每episode的物体元数据（如形状、大小、颜色等）存储在meta/fmb_episodes.json中。This dataset is a v3 port of the LeRobot dataset for FMB (Functional Manipulation Benchmark) single-object manipulation demonstrations, recorded using a Franka Panda robotic arm. It is a reformatted derivative version that converts each single-object demonstration into a LeRobot episode, including RGB image streams, proprioception, force and torque, and action commands, with a unified frame rate of 10fps. The dataset contains 1844 episodes, totaling 418,495 image frames, using four RGB cameras (side_1, side_2, wrist_1, wrist_2) with a resolution of 256x256. Observation data includes images, state (joint positions and velocities, end-effector pose and velocity, gripper state), end-effector force and torque (in the EE coordinate system), Jacobian matrix, and action commands (Cartesian space commands: xyz, rpy, gripper). The dataset discards the original FMB depth maps and converts images from BGR to RGB format. The action commands are the original FMB commands, without next-pose reconstruction. The dataset only includes the single-object subset, not the multi-object subset. Object metadata (such as shape, size, color, etc.) for each episode is stored in meta/fmb_episodes.json.

原始信息汇总

数据集概览

FMB single-object (LeRobot v3) 是 FMB（Functional Manipulation Benchmark） 数据集的一个 LeRobot v3 格式移植版本，专注于单物体操作，使用 Franka Panda 机械臂采集。

• 许可协议：CC-BY-4.0
• 任务类型：机器人操作（Robotics）
• 数据规模：约 1M 至 10M 帧
• 数据量：1844 个 episode，共 418,495 帧，帧率 10 fps
• 机器人：Franka Panda

---

数据内容

传感器与观测

特征	数据类型	维度	说明
observation.images.{side_1, side_2, wrist_1, wrist_2}	视频	256×256×3	四路 RGB 图像（原 BGR 已转为 RGB）
observation.state	float32	(28,)	关节位置（7）+ 关节速度（7）+ 末端执行器位姿（7）+ 末端速度（6）+ 夹爪状态（1）
observation.state.joint_position	float32	(7,)	机械臂关节位置
observation.state.ee_pose	float32	(7,)	末端执行器位姿（xyz + 四元数，基坐标系）
observation.state.gripper	float32	(1,)	夹爪状态（0=张开，1=闭合）
observation.force	float32	(3,)	末端执行器受力（末端执行器坐标系）
observation.torque	float32	(3,)	末端执行器扭矩（末端执行器坐标系）
observation.jacobian	float32	(42,)	机器人雅可比矩阵（6×7），展开为向量
action	float32	(7,)	指令笛卡尔动作（xyz, rpy, 夹爪）

元数据

每个 episode 的物体元信息（形状、尺寸、长度、颜色、角度、干扰物及 object_info）保存在 meta/fmb_episodes.json 中。

---

注意事项

• 深度图已舍弃：本移植版本未包含 FMB 原有的 4 路深度相机数据，如需深度信息请使用原始数据集。
• 颜色格式转换：FMB 原始图像为 BGR 格式，本版本已转换为 RGB。
• 动作信息：动作数据为 FMB 原始指令动作，未经下一姿态重建处理。
• 帧率说明：标称帧率 10 fps 为元数据，并未进行重采样，帧与源数据一一对应。
• 数据范围：仅包含单物体操作子集，未包含 FMB 的多物体操作子集。

---

引用

bibtex @article{luo2024fmb, title = {FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning}, author = {Luo, Jianlan and Xu, Charles and Liu, Fangchen and Tan, Liam and Lin, Zipeng and Wu, Jeffrey and Abbeel, Pieter and Levine, Sergey}, journal = {arXiv preprint arXiv:2401.08553}, year = {2024} }

原始数据集与文档：https://huggingface.co/datasets/charlesxu0124/functional-manipulation-benchmark
论文：https://arxiv.org/abs/2401.08553
项目主页：https://functional-manipulation-benchmark.github.io
转换脚本：https://github.com/lvjonok/fmb-lerobot-port