mhchae/libero

该数据集使用LeRobot创建，专注于机器人学任务，包含1693个episodes、273465帧和40个任务。数据以parquet文件格式存储，视频以MP4格式存储，帧率为10fps。特征包括两个256x256分辨率的RGB视频观察（image和image2）、8维状态观察、7维动作向量，以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集结构详细，适用于机器人控制和强化学习研究。This dataset was created using LeRobot and focuses on robotics tasks. It contains 1693 episodes, 273465 frames, and 40 tasks. Data is stored in parquet files, with videos in MP4 format at 10fps. Features include two 256x256 RGB video observations (image and image2), an 8-dimensional state observation, a 7-dimensional action vector, and metadata such as timestamp, frame index, episode index, index, and task index. The dataset structure is detailed and suitable for robotics control and reinforcement learning research.

搜集汇总

数据集介绍

构建方式

libero数据集基于LeRobot框架构建，专为机器人操作任务设计。该数据集包含来自Panda机器人的1,693个操作片段，总计273,465帧，涵盖40种不同的任务。数据以parquet格式存储，每1,000帧为一个数据块，同时将高保真观察图像以AV1编码的MP4视频形式保存，分辨率为256×256像素，帧率为10 FPS。

特点

libero数据集在结构上展现出高度的组织性与丰富性。其观察空间囊括双视角视觉图像与八维机器人状态向量，动作空间则为七维关节指令。此外，数据集不仅提供连续的时序戳与帧索引，还明确标注了任务索引与片段索引，便于细粒度的任务分解与片段检索。整个数据集仅包含训练集，无需额外划分，降低了使用门槛。

使用方法

使用libero数据集时，可借助LeRobot库提供的接口直接加载parquet数据文件与对应的视频文件。用户需根据特征字典中定义的命名空间（如observation.images.image）来访问图像、状态与动作序列。由于数据已按任务索引与片段索引结构化组织，研究人员能够便捷地提取特定任务的子集，或按时间顺序重组片段以进行模仿学习或强化学习策略训练。

背景与挑战

背景概述

LIBERO（Lifelong robotic learning）数据集由斯坦福大学等顶尖研究机构于近年来发布，旨在推动机器人终身学习与多任务操作的研究。该数据集以Franka Emika Panda机械臂为平台，采集了涵盖40种复杂操作任务的1693个演示片段，共计超过27万帧视觉与状态动作数据。其核心研究问题聚焦于如何让机器人在非结构化环境中通过少量演示掌握多样化技能，并实现从简单拾放到精细组装等任务的泛化。数据集提供高分辨率双目视觉输入、8维机器人状态及7维动作指令，为模仿学习、元学习及跨任务迁移提供了标准化基准。LIBERO的出现填补了机器人操作领域缺乏大规模、多任务、长序列数据集的空白，对基于视觉的机器人技能学习研究产生了深远影响，成为评估算法泛化性与数据效率的重要平台。

当前挑战

LIBERO数据集面临多维挑战。首先，领域层面需解决机器人操作中的长时域依赖与组合泛化问题：40种任务跨越不同复杂度层级，要求模型从高维视觉输入中提取语义特征，并在变化的环境状态与目标中实现零样本迁移，这对当前模仿学习算法的泛化能力构成严峻考验。其次，构建过程中，高质量演示需克服机械臂精确控制与任务间干扰的平衡，数据采集时需保证同一任务在不同初始条件下的动作多样性，避免过拟合至固定轨迹；同时，10Hz的采样频率与256×256的图像分辨率虽能满足基础需求，但高频动作细节与延时控制间的张力仍是数据工程的核心难点。此外，数据集规模（273465帧）在复杂任务覆盖度上仍有提升空间，如何以有限数据支撑终身学习中的灾难性遗忘缓解与快速适应，是Libero长期推动的研究挑战。

常用场景

经典使用场景

在机器人学习与具身智能领域，libero数据集凭借其包含40种不同任务、超过1600个示范片段以及多视角视觉观测与机器人状态信息，成为了模仿学习与行为克隆研究的基准数据集。研究者常利用该数据集训练端到端的机器人操控策略，通过从视觉图像到关节动作的映射学习，使机器人能够复现诸如抓取、放置、推拉等精细操作。其标准化的数据格式与Apache-2.0许可证也为跨实验室的对比实验提供了便利。

衍生相关工作

libero数据集已催生出多项具有影响力的派生工作，包括针对少样本模仿学习的元学习方法研究，以及融合对比学习的视觉表征预训练框架。部分工作将其与扩散模型结合，生成了更平滑、更鲁棒的动作序列；另有研究基于该数据集构建了多任务机器人基础模型的评测基准。这些工作不仅深化了对机器人操作行为的理解，也为后续探索通用操控智能奠定了重要基础。

数据集最近研究

最新研究方向

LIBERO数据集作为机器人操作任务领域的前沿基准，汇聚了40项精细任务与1693个高质量演示片段，通过Panda机械臂采集的多模态观测（双视角视觉、关节状态）与动作序列，为模仿学习、离线强化学习及多任务泛化研究提供了结构化数据支撑。近期研究聚焦于利用其丰富的任务多样性，探索基于Transformer架构的行为克隆与因果推断方法，以提升机器人从人类演示中泛化至未见过环境的能力。该数据集在开源社区中推动了基于LeRobot框架的标准化研究范式，其高保真视频与状态数据成为评估长时序决策模型鲁棒性的关键资源，对具身智能系统中技能迁移与零样本适应等前沿热点具有奠基性意义。