zlm898/RoboCAS-v0

RoboCAS是一个用于复杂物体排列场景中机器人操作的基准测试数据集。该数据集包含由RoboCAS-v0生成的多个演示轨迹，这些轨迹被分为三个任务：散乱场景中的拾取任务、有序场景中的选择任务和堆叠场景中的搜索任务。每个轨迹文件夹包含多个文件，记录了机器人的动作、状态、相机数据等信息。具体来说，每个轨迹文件夹包含一个episode_info.npz文件，其中记录了机器人的轨迹信息，包括相对位置、绝对位置、关节角度、速度等。此外，文件夹中还包含多个相机数据文件，记录了安装在机器人夹爪、基座和地面上的相机的数据。

原始信息汇总

数据集概述

数据集名称: RoboCAS: A Benchmark for Robotic Manipulation in Complex Object Arrangement Scenarios

许可证: CC-BY-NC-SA-4.0

任务类别: 机器人学

数据集内容

数据集结构:

• 压缩文件: 包含多个任务的轨迹数据，具体包括：

  • scattered.zip: 散乱场景中的拾取任务。
  • orderly.zip: 有序场景中的选择任务。
  • stacked.zip: 堆叠场景中的搜索任务。

• 轨迹文件结构:

  . |-- data_info.json # 数据集信息概览，字典格式。 |-- episode_0000000 # 轨迹0。 | |-- episode_info.npz # 轨迹中的动作和机器人状态。 | |-- gripper_camera # 夹持器上安装的相机数据。 | | |-- cam_pos_wrt_${parent}.npy # 相机相对于其父链接的姿态。 | | |-- intrinsic.npy # 此相机的内在参数。 | | |-- rgb # 此轨迹中的RGB图像。 | | | |-- 0000.png # 第0步的图像。 | | | |-- ... | | |-- depth # 此轨迹中的深度图像，结构与"rgb"相同。 | | |-- ... | |-- base_camera # 机器人基座上安装的相机数据，结构与"gripper_camera"相同。 | | |-- ... | |-- static_camera # 地面上安装的相机数据，结构与"gripper_camera"相同。 | | |-- ... |-- episode_0000001 # 结构与"episode_0000000"相同。 |-- ...

• 轨迹信息:

  • episode_info.npz 文件包含以下信息：
    • rel_pos: 末端执行器相对于上一次姿态的相对位置偏移。
    • rel_orn: 末端执行器相对于上一次姿态的相对方向偏移。
    • ee_pos: 末端执行器相对于臂基座的绝对位置。
    • ee_orn: 末端执行器相对于臂基座的绝对方向。
    • robot_joints: 臂关节角度。
    • arm_joint_vel: 臂关节速度。
    • base_pos: 臂基座相对于世界的绝对位置。
    • base_orn: 臂基座相对于世界的绝对方向。
    • base_rel_pos: 臂基座相对于上一次姿态的相对位置偏移。
    • base_rel_orn: 臂基座相对于上一次姿态的相对方向偏移。
    • gripper_width: 夹持器手指的开口宽度。
    • gripper_status: 夹持器的开/关命令。
    • episode_length: 轨迹长度。
    • language_goal: 此轨迹的全局目标指令。
    • language_embedding: 目标指令的嵌入，由Mini LAMMA生成。
    • step_lang_goals: 此轨迹中每步动作的子任务目标注释。
    • step_goal_embs: 步骤目标的嵌入，由Mini LAMMA生成。
    • step_goal_type: 每步子任务目标的类型。

引用信息

@inproceedings{zheng2024robocas title={RoboCAS: A Benchmark for Robotic Manipulation in Complex Object Arrangement Scenarios}, author={Liming Zheng and Feng Yan and Fanfan Liu and Chengjian Feng and Zhuoliang Kang and Lin Ma}, year={2024}, booktitle={NeurIPS: Datasets and Benchmarks Track} }