robocerebra_lerobot

RoboCerebra — LeRobot训练数据集是一个用于RoboCerebra长时域机器人操作基准测试的训练数据集，已转换为LeRobot v3.0格式。该数据集通过重放RoboCerebra_Bench演示（qiukingballball/RoboCerebraBench）并通过LIBERO/robosuite重新渲染观察构建，遵循RoboCerebra仓库的官方rlds_dataset_builder流程（无操作过滤、按步分割、3种桌面纹理变体、4种干扰物位移变体）。数据集包含3,624个episodes（302,652帧，20 fps，256×256 RGB图像，包括agentview和手腕摄像头视角），涵盖30个独特的长时域演示，每个演示分割为按步episodes，并分为12个视觉变体（桌面纹理tex0/1/2 × 干扰物位移orig/dxp005/dyp005/dym005）。任务字符串为干净的按步指令（例如“从咖啡桌上拿起奶油奶酪”），不包含内部变体后缀。特征包括观察图像、状态（如末端执行器位置、关节状态）和动作数据（OSC_POSE增量）。数据集还提供每episode的元数据（如任务类型、案例、变体、高级任务、相关对象），并与类似数据集robocerebra_unified进行了去重和清理。RoboCerebra — LeRobot training dataset is a training dataset for RoboCerebra long-horizon robotic manipulation benchmark, converted to LeRobot v3.0 format. This dataset is constructed by replaying the RoboCerebra_Bench demonstrations (qiukingballball/RoboCerebraBench) and re-rendering observations via LIBERO/robosuite, following the official rlds_dataset_builder workflow from the RoboCerebra repository (no action filtering, step-wise segmentation, 3 desktop texture variants, 4 distraction displacement variants). The dataset contains 3,624 episodes (302,652 frames, 20 fps, 256×256 RGB images, including agentview and wrist camera views), covering 30 unique long-horizon demonstrations, each split into step-wise episodes, and divided into 12 visual variants (desktop textures tex0/1/2 × distraction displacements orig/dxp005/dyp005/dym005). The task strings are clean step-wise instructions (e.g., "Pick up the cream cheese from the coffee table") without internal variant suffixes. The features include observation images, states (e.g., end-effector position, joint states) and action data (OSC_POSE increments). The dataset also provides per-episode metadata (e.g., task type, case, variant, high-level task, related objects), and has been deduplicated and cleaned against the similar dataset robocerebra_unified.

原始信息汇总

数据集概述

数据集名称：RoboCerebra — LeRobot training dataset
许可协议：MIT
任务类别：机器人学（Robotics）
标签：LeRobot, libero, robocerebra, openvla

数据集内容

• 总数据量：3,624 个片段（episodes），共 302,652 帧，帧率为 20 fps。
• 图像分辨率：256×256 像素，RGB 格式，包含两个视角：
  • 机械臂视角（agentview）
  • 腕部相机视角（wrist_image）
• 动作空间：7 维向量，包括 OSC_POSE 增量（位置 ±5.625）和夹爪开合值（1=张开，0=闭合，由 LIBERO 的 -1/+1 反转而来）。
• 状态空间：
  • observation.state：8 维浮点数（末端执行器位置 3 + 轴角 3 + 夹爪位置 2）
  • observation.states.ee_state：6 维（末端执行器位置 + 轴角）
  • observation.states.joint_state：7 维（关节位置）
  • observation.states.gripper_state：2 维（夹爪位置）

数据集结构

• 演示类别：包含 30 个独特的长期（long-horizon）任务演示，每个演示被分割为逐步执行的片段（episodes）。具体分为三类：
  • Ideal：10 个案例（同时覆盖 Observation_Mismatching 和 Random_Disturbance，其演示字节相同）
  • Memory_Execution：10 个案例（覆盖 5 个 Mix 案例）
  • Memory_Exploration：10 个案例（覆盖另 5 个 Mix 案例）
• 视觉变体：每个演示有 12 种变体，由以下组合生成：
  • 桌面纹理：tex0, tex1, tex2
  • 干扰物位移：orig, dxp005, dyp005, dym005
• 任务字符串：为干净的逐步指令（如 "Pick up cream cheese from coffee table"），不包含内部变体后缀。

元数据

• 片段溯源文件：meta/robocerebra_episodes.jsonl，每行 JSON 包含：
  • task_type（任务类型）
  • case（案例）
  • texture_idx（纹理索引）
  • variant（变体）
  • step_index（步骤索引）
  • instruction（指令）
  • high_level_task（所属长期任务）
  • related_objects（相关物体）
  • source_dir（来源目录）
  • also_covers（共享相同演示的重复基准目录）

与 lerobot/robocerebra_unified 的区别

1. 去重：robocerebra_unified 包含 6 个基准目录（共 6,660 个片段），其中 Observation_Mismatching / Random_Disturbance 与 Ideal 完全相同，Mix 重复 Memory_*。本数据集仅保留每个唯一演示一次（3,624 个片段）。
2. 任务字符串清洁：本数据集使用纯自然语言逐步指令，而 robocerebra_unified 包含转换后缀（如 "… orig tex0"），产生 1,728 个伪任务。
3. 元数据：本数据集提供侧边元数据文件 meta/robocerebra_episodes.jsonl（包含任务类型、案例、变体、纹理、高层任务、相关物体），而 robocerebra_unified 未提供。

数据集生成

• 转换脚本存档于本仓库的 scripts/ 目录下。
• 构建方式：通过回放 RoboCerebra_Bench 演示（qiukingballball/RoboCerebraBench），使用 LIBERO/robosuite 重新渲染观测，遵循官方 rlds_dataset_builder 流程（包括无操作动作过滤、逐步骤分割、3 种桌面纹理变体、4 种干扰物位移变体）。

引用

bibtex @article{han2025robocerebra, title={RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation}, author={Han, Songhao and Qiu, Boxiang and Liao, Yue and Huang, Siyuan and Gao, Chen and Yan, Shuicheng and Liu, Si}, journal={arXiv preprint arXiv:2506.06677}, year={2025} }