charlesxu0124/functional-manipulation-benchmark

该机器人学习数据集是论文FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning的一部分，包含了22,550条专家演示轨迹，涵盖了解决单对象和多对象操作任务所需的不同技能。数据集中的每个.npy文件包含了来自不同摄像头的RGB和深度图像、机器人末端执行器的姿态和速度、关节位置和速度、机器人雅可比矩阵、夹爪状态、命令的笛卡尔动作、与当前时间步相关的原始动作、以及被操作对象的信息。单对象数据集轨迹文件的命名规则为(insert_only_){shape}_{size}_{length}_{color}_{angle}_{distractor}_{trajectory_id}.npy，多对象数据集轨迹文件的命名规则为trajectory_{object_id}_{trajectory_id}.npy。

原始信息汇总

功能性操作基准数据集

概述

该机器人学习数据集是论文“FMB: 一个通用机器人学习的功能性操作基准”的一部分。它包括22,550个专家演示轨迹，涵盖了解决论文中提出的单对象和多对象操作任务所需的不同技能。

数据集结构

每个zip文件包含一个轨迹文件夹。每个轨迹保存为.npy文件。每个.npy文件包含一个字典，具有以下键值对：

• obs/side_1: 一个(N, 256, 256, 3)的numpy数组，来自侧面相机1的RGB图像，保存为BGR格式
• obs/side_2: 一个(N, 256, 256, 3)的numpy数组，来自侧面相机2的RGB图像，保存为BGR格式
• obs/wrist_1: 一个(N, 256, 256, 3)的numpy数组，来自手腕相机1的RGB图像，保存为BGR格式
• obs/wrist_2: 一个(N, 256, 256, 3)的numpy数组，来自手腕相机2的RGB图像，保存为BGR格式
• obs/side_1_depth: 一个(N, 256, 256)的numpy数组，来自侧面相机1的深度图像
• obs/side_2_depth: 一个(N, 256, 256)的numpy数组，来自侧面相机2的深度图像
• obs/wrist_1_depth: 一个(N, 256, 256)的numpy数组，来自手腕相机1的深度图像
• obs/wrist_2_depth: 一个(N, 256, 256)的numpy数组，来自手腕相机2的深度图像
• obs/tcp_pose: 一个(N, 7)的numpy数组，末端执行器在机器人基座框架中的位姿（XYZ, 四元数）
• obs/tcp_vel: 一个(N, 6)的numpy数组，末端执行器在机器人基座框架中的速度（XYZ, RPY）
• obs/tcp_force: 一个(N, 3)的numpy数组，末端执行器在机器人末端执行器框架中的力（XYZ）
• obs/tcp_torque: 一个(N, 3)的numpy数组，末端执行器在机器人末端执行器框架中的扭矩（RPY）
• obs/q: 一个(N, 7)的numpy数组，关节位置
• obs/dq: 一个(N, 7)的numpy数组，关节速度
• obs/jacobian: 一个(N, 6, 7)的numpy数组，机器人雅可比矩阵
• obs/gripper_pose: 一个(N,)的numpy数组，指示夹爪的二进制状态（0=打开，1=关闭）
• action: 一个(N, 7)的numpy数组，命令的笛卡尔动作（XYZ, RPY, 夹爪）
• primitive: 一个(N,)的numpy数组，字符串数组，指示当前时间步关联的原语
• object_id（仅限多对象）: 一个(N,)的numpy数组，整数数组，指示当前轨迹中被操作对象的ID
• object_info（仅限单对象）: 一个字典，包含当前轨迹中被操作对象的信息，具有以下键值对：
  • length: 对象的长度（S=短，L=长）
  • size: 对象的横截面尺寸（S=小，M=中，L=大）
  • shape: 根据参考表的对象形状ID
  • color: 根据参考表的对象颜色ID
  • angle: 对象的初始位姿，指示如何抓取和重新定位（水平，垂直）
  • distractor: 指示是否有干扰对象（y=是，n=否）

文件命名

单对象数据集轨迹文件命名如下：

(insert_only_){shape}_{size}_{length}_{color}_{angle}_{distractor}_{trajectory_id}.npy

多对象数据集轨迹文件命名如下：

trajectory_{object_id}_{trajectory_id}.npy