libero-lerobot-v2

LIBERO（LeRobot v2 + MP4）是一个重新编码的数据集，源自physical-intelligence/libero，用于LeRobot v2.0，并采用MP4视频格式替代了每帧的PNG图像。数据集包含1,693个片段，覆盖4个LIBERO套件（libero-spatial、libero-object、libero-goal、libero-10），总计273,465帧，涉及40个任务。视频帧率为10 FPS，使用Franka Emika Panda机器人（单臂）进行操作。数据集包含8维状态（末端执行器位置、轴角度、夹持器位置）和7维动作（位置增量、轴角度增量、夹持器动作）。摄像头视角包括第三人称（agentview）和手眼（wrist），分辨率为256×256 RGB。数据集适用于NVIDIA DreamZero数据管道，并提供了详细的使用方法和源代码引用。

LIBERO (LeRobot v2 + MP4) is a re-encoded dataset derived from physical-intelligence/libero, designed for LeRobot v2.0, and uses MP4 video format instead of per-frame PNG images. The dataset contains 1,693 episodes covering 4 LIBERO suites (libero-spatial, libero-object, libero-goal, libero-10), totaling 273,465 frames across 40 tasks. The video frame rate is 10 FPS, and the dataset involves operations performed by a Franka Emika Panda robot (single arm). The dataset includes 8-dimensional states (end-effector position, joint angles, gripper position) and 7-dimensional actions (position increments, joint angle increments, gripper actions). Camera perspectives include third-person (agentview) and eye-in-hand (wrist), with a resolution of 256×256 RGB. The dataset is compatible with the NVIDIA DreamZero data pipeline and provides detailed usage instructions and source code references.

原始信息汇总

数据集概述

• 数据集名称：LIBERO (LeRobot v2 + MP4)
• 许可证：CC-BY 4.0（继承自源数据集）
• 任务类别：机器人学（Robotics）
• 规模：1000 至 10000 个样本

数据集来源与变更

• 原始数据集：physical-intelligence/libero
• 主要变更：
  • 将逐帧 PNG 图像重新编码为逐段 H.264 MP4 视频（yuv420p，CRF 18），兼容 decord 视频读取。
  • 摄像头键名从 image / wrist_image 重命名为 observation.images.agentview / observation.images.wrist，匹配 DreamZero 约定。
  • 新增逐帧字符串列 annotation.task，包含任务描述。
  • info.json 中摄像头特征从 dtype: "image" 改为 dtype: "video"。
  • 状态、动作、片段计数和任务定义与源数据保持一致。

数据集详情

• 机器人：Franka Emika Panda（单臂）
• 片段数：1,693 个，覆盖 4 个 LIBERO 子集（libero-spatial、libero-object、libero-goal、libero-10）
• 总帧数：273,465 帧
• 任务数：40 个
• 帧率：10 FPS
• 状态空间（8维）：[eef_pos×3, eef_axis_angle×3, gripper_qpos×2]
• 动作空间（7维）：[delta_pos×3, delta_axis_angle×3, gripper×1]
• 摄像头：agentview（第三人称视角）+ wrist（腕部视角），分辨率 256×256 RGB

数据集用途

该数据集专为 NVIDIA DreamZero 数据流水线设计，支持后训练使用。

使用示例（DreamZero 后训练）

1. 下载数据集： bash hf download <YOUR_USER>/libero-lerobot-mp4 --repo-type dataset --local-dir ./data/libero_lerobot/all

2. 按任务选取指定数量的演示： bash python subset_lerobot_episodes.py --src ./data/libero_lerobot/all --dst ./data/libero_lerobot/all_10demos --demos-per-task 10 --seed 42

3. 添加 GEAR 元数据： bash python scripts/data/convert_lerobot_to_gear.py --dataset-path ./data/libero_lerobot/all_10demos --embodiment-tag libero_sim --state-keys {"eef_pos": [0, 3], "eef_axis_angle": [3, 6], "gripper_qpos": [6, 8]} --action-keys {"delta_eef_pos": [0, 3], "delta_eef_axis_angle": [3, 6], "gripper": [6, 7]} --relative-action-keys delta_eef_pos delta_eef_axis_angle --task-key annotation.task --action-horizon 24 --force

引用

bibtex @article{liu2023libero, title={LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning}, author={Liu, Bo and Zhu, Yifeng and Gao, Chongkai and Feng, Yihao and Liu, Qiang and Zhu, Yuke and Stone, Peter}, journal={arXiv preprint arXiv:2306.03310}, year={2023} }