libero

该数据集结合了四个独立的Libero数据集：Libero-Spatial、Libero-Object、Libero-Goal和Libero-10。所有数据集均来自openvla/modified_libero_rlds，并转换为LeRobot格式。数据集包含1693个episodes，273465帧，40个任务，使用panda机器人收集，帧率为10fps。数据以parquet格式存储，包含图像、状态、动作等多种特征。

This dataset combines four independent Libero datasets: Libero-Spatial, Libero-Object, Libero-Goal, and Libero-10. All datasets are sourced from openvla/modified_libero_rlds and converted to the LeRobot format. It contains 1693 episodes, 273,465 frames, and 40 tasks, and was collected using a Panda robot at a frame rate of 10 fps. The data is stored in Parquet format and includes multiple modalities such as images, states, and actions.

原始信息汇总

数据集概述

基本信息

• 数据集名称: libero
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 主页: https://libero-project.github.io
• 论文: https://arxiv.org/abs/2306.03310
• 许可证: CC-BY 4.0

数据集描述

本数据集整合了四个独立的Libero数据集：Libero-Spatial、Libero-Object、Libero-Goal和Libero-10。所有数据集均源自 https://huggingface.co/datasets/openvla/modified_libero_rlds，并已转换为LeRobot格式。

数据集结构

• 代码库版本: v2.0
• 机器人类型: panda
• 总情节数: 1693
• 总帧数: 273465
• 总任务数: 40
• 总视频数: 0
• 总块数: 2
• 块大小: 1000
• 帧率: 10 fps
• 数据分割: 训练集 (0:1693)
• 数据文件路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据特征

• image
  • 数据类型: image
  • 形状: [256, 256, 3]
  • 维度名称: ["height", "width", "channel"]
• wrist_image
  • 数据类型: image
  • 形状: [256, 256, 3]
  • 维度名称: ["height", "width", "channel"]
• state
  • 数据类型: float32
  • 形状: [8]
  • 维度名称: ["state"]
• actions
  • 数据类型: float32
  • 形状: [7]
  • 维度名称: ["actions"]
• timestamp
  • 数据类型: float32
  • 形状: [1]
  • 维度名称: null
• frame_index
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• episode_index
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• index
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• task_index
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null

引用信息

bibtex @article{liu2023libero, title={LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning}, author={Liu, Bo and Zhu, Yifeng and Gao, Chongkai and Feng, Yihao and Liu, Qiang and Zhu, Yuke and Stone, Peter}, journal={arXiv preprint arXiv:2306.03310}, year={2023} }

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的质量与多样性直接决定了模型泛化能力的上限。libero数据集正是为应对这一挑战而精心构建的，它整合了四个独立的Libero子数据集：Libero-Spatial、Libero-Object、Libero-Goal以及Libero-10，这些原始数据源自OpenVLA团队整理的modified_libero_rlds仓库。随后，借助LeRobot框架，所有数据被统一转化为标准化的LeRobot格式，确保兼容性与易用性。数据集共包含1693个任务片段、273465帧图像，覆盖40种不同的操作任务，所有数据均以parquet文件形式存储于分块目录中，便于高效加载与处理。机器人平台采用Franka Emika Panda，数据采集频率为每秒10帧，为机器人技能学习提供了丰富且规范的训练素材。

使用方法

使用libero数据集时，研究者可直接通过HuggingFace Datasets库加载已转换为LeRobot格式的数据，无需手动处理原始文件。加载后，数据以字典形式呈现，包含'image'、'wrist_image'、'state'、'actions'等关键字段，便于直接输入深度学习模型进行训练。由于数据集已按任务片段组织，用户可通过'episode_index'遍历完整轨迹，或利用'task_index'筛选特定任务。对于需要图像序列与动作对应关系的模仿学习或强化学习算法，libero提供了即开即用的数据管道。建议在使用前参照meta/info.json文件中的特征定义，确保输入张量的维度与数据类型匹配模型要求。

背景与挑战

背景概述

在机器人学习领域，终身学习与知识迁移能力是推动智能体适应复杂动态环境的核心议题。LIBERO数据集由Bo Liu、Yifeng Zhu等研究人员于2023年提出，依托于得克萨斯大学奥斯汀分校等机构，旨在系统性地评估机器人在多任务场景下的知识迁移与持续学习能力。该数据集整合了Libero-Spatial、Libero-Object、Libero-Goal和Libero-10四个子集，涵盖40项操作任务，涉及空间推理、物体交互与目标导向行为，为研究跨任务知识泛化提供了标准化基准。LIBERO的发布填补了机器人终身学习领域缺乏统一评估平台的空白，其影响力迅速扩展至模仿学习、强化学习及多任务策略迁移等前沿方向，成为验证算法鲁棒性与迁移效率的重要工具。

当前挑战

LIBERO数据集所解决的领域问题聚焦于机器人在非静态环境中的终身学习挑战，即如何在不断接收新任务时避免灾难性遗忘，并高效利用先前经验加速新技能获取。具体挑战包括：1) 任务间的语义与物理干扰，如物体位置变化或操作目标切换导致策略退化；2) 数据分布偏移，机器人需适应不同初始状态、物体配置与光照条件。在数据集构建过程中，研究者面临多重困难：1) 任务设计的多样性与现实一致性难以平衡，需确保40项任务覆盖空间、物体与目标维度的差异性；2) 高保真仿真环境与真实机器人部署之间的领域鸿沟，数据采集依赖Franka Panda机械臂，但仿真参数与物理世界仍存在偏差；3) 数据规模与标注精度的权衡，总计273,465帧图像需精确对齐动作序列与状态信息，以避免噪声干扰模型训练效果。

常用场景

经典使用场景

LIBERO数据集是机器人学习领域中一个里程碑式的基准测试资源，其核心设计围绕模仿学习与终身学习展开。该数据集通过精心设计的40个操作任务，涵盖空间推理、物体交互、目标导向及综合场景四类子集，为评估机器人策略的泛化能力与知识迁移效率提供了标准化平台。研究者常利用LIBERO训练视觉-运动策略，尤其聚焦于多任务学习框架下的零样本迁移与快速适应性能，其高保真的仿真环境与真实Franka Panda机器人动作数据相结合，使得从仿真到现实的策略部署验证成为可能。

解决学术问题

该数据集系统性地解决了机器人终身学习中两大核心学术难题：灾难性遗忘与跨任务知识迁移。通过提供结构化任务序列与多层级任务复杂度，LIBERO使研究者能够量化评估不同持续学习算法（如弹性权重巩固、记忆重放等）在防止旧任务性能衰退方面的有效性。同时，其包含的空间、物体与目标变体任务，为探究抽象概念表征的泛化机制提供了可控实验环境，推动了从孤立任务学习向可积累机器人知识库的范式转变，显著提升了长期自主决策系统的可靠性。

实际应用

在实际应用中，LIBERO数据集驱动的模型可赋能工业装配线中的柔性制造场景，例如机械臂需根据工件位置变化自主调整抓取策略，或在家居服务机器人中实现跨环境的目标物品递送。基于该数据集训练的视觉-语言-动作联合模型，能够理解“将蓝色马克杯放到托盘右侧”这类复合指令，并在桌面布局发生微小改动时仍保持任务成功率。此外，其多视角图像与本体感知数据流，为开发具备鲁棒性的自动化仓储分拣系统提供了关键训练基础。

数据集最近研究

最新研究方向

LIBERO数据集作为机器人终身学习领域的基准测试平台，近期研究聚焦于多任务操作技能的知识迁移与泛化能力评估。该数据集融合了Spatial、Object、Goal与10种任务变体，涵盖40项精细化操作任务，为模仿学习与强化学习算法提供了丰富的跨场景训练样本。当前前沿方向集中于利用大规模预训练视觉-语言模型（如RT-2、PaLM-E）在LIBERO上进行零样本与少样本迁移学习，探索机器人对未见过物体布局与任务目标的适应能力。同时，基于Transformer的序列建模方法被广泛用于提取LIBERO中高维视觉与低维状态动作的时序依赖关系，以提升长程任务执行的成功率。该数据集的出现推动了机器人从单一任务向通用技能库的演进，为具身智能体在非结构化环境中的持续学习奠定了关键评估基础。