pi05-libero-10

该数据集使用LeRobot创建，适用于机器人技术领域。数据集包含500个episodes，132,601帧，覆盖10个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为10fps。数据集结构包括观察图像（image和image2）、状态（state）、动作（action）、时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、索引（index）、任务索引（task_index）和成功标志（success）。观察图像为视频格式，分辨率为256x256，3通道，帧率10fps。状态和动作为float32类型，分别有8和7个维度。数据集采用apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 数据集名称: pi05-libero-10
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模与结构

• 总任务数: 10
• 总情节数: 500
• 总帧数: 132,601
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 10 FPS
• 数据块大小: 1000
• 数据分割: 训练集 (0:500)

数据文件与路径

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

• observation.images.image:

  • 数据类型: 视频
  • 形状: [265, 265, 3]
  • 帧率: 10.0
  • 视频信息:
    • 高度: 256
    • 宽度: 256
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: 否
    • 通道数: 3
    • 包含音频: 否

• observation.images.image2:

  • 数据类型: 视频
  • 形状: [265, 265, 3]
  • 帧率: 10.0
  • 视频信息:
    • 高度: 256
    • 宽度: 256
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: 否
    • 通道数: 3
    • 包含音频: 否

• observation.state:

  • 数据类型: float32
  • 形状: [8]
  • 帧率: 10.0

• action:

  • 数据类型: float32
  • 形状: [7]
  • 帧率: 10.0

• timestamp:

  • 数据类型: float32
  • 形状: [1]

• frame_index:

  • 数据类型: int64
  • 形状: [1]

• episode_index:

  • 数据类型: int64
  • 形状: [1]

• index:

  • 数据类型: int64
  • 形状: [1]

• task_index:

  • 数据类型: int64
  • 形状: [1]

• success:

  • 数据类型: bool
  • 形状: [1]

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=reece-omahoney/pi05-libero-10

其他信息

• 主页: 未提供
• 论文: 未提供
• 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。pi05-libero-10数据集依托LeRobot平台构建而成，其采集过程系统性地记录了机器人执行多样化任务时的交互数据。该数据集共包含500条完整轨迹，总计132,601帧观测记录，覆盖了10项不同的任务场景。数据以分块形式存储于Parquet文件中，每块容量约为1000帧，确保了高效的数据管理与读取效率。

特点

该数据集在结构设计上体现了多模态与精细化的特点。其核心特征在于同步提供了双视角的视觉观测流，每个视频帧的分辨率均为256x256，并以10帧每秒的速率编码为AV1格式。同时，数据集精确记录了机器人的8维状态向量与7维动作指令，并辅以时间戳、帧索引及任务完成标志等元数据。这种多维度的数据融合为模仿学习与强化学习算法提供了丰富的训练信号。

使用方法

研究人员可通过Hugging Face平台直接访问该数据集，利用其预定义的数据加载接口进行高效读取。数据集已预设训练集划分，涵盖全部500条轨迹。典型的使用流程包括解析Parquet文件以提取图像序列、状态与动作对，进而构建端到端的策略学习模型。数据集中包含的成功标志也为算法性能评估提供了直接依据，支持机器人技能学习的训练与验证循环。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。pi05-libero-10数据集应运而生，它由Hugging Face的LeRobot项目团队创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集包含500个完整交互片段，涵盖10项具体任务，总计超过13万帧图像与状态-动作对，其核心研究问题聚焦于如何利用真实机器人采集的视觉与本体感知数据，来训练能够泛化至多样化家庭环境操作的智能体。该数据集的发布为社区提供了宝贵的基准资源，显著促进了端到端机器人策略学习的研究。

当前挑战

该数据集致力于解决机器人操作任务中的模仿学习与策略泛化挑战，其核心难题在于如何从有限的人类演示中学习能够适应环境变化与任务变体的鲁棒策略。在构建过程中，研究者面临多重挑战：真实机器人数据采集成本高昂且耗时，需协调硬件控制、多传感器同步与数据流水线；确保数据质量与一致性，例如跨任务的动作空间对齐与成功标签的可靠标注；以及处理高维视觉观测数据所带来的存储、压缩与高效读取的技术难题，这些因素共同构成了数据集构建的核心障碍。

常用场景

经典使用场景

在机器人学习领域，pi05-libero-10数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录机器人执行10种不同任务的500个完整交互序列，包含多视角视觉观察、机器人状态及动作数据，使得研究人员能够利用这些丰富的轨迹信息，训练端到端的策略模型，从而模拟人类操作行为，实现复杂环境下的自主决策与控制。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在视觉运动策略学习、多任务强化学习框架以及离线强化学习算法的优化。这些工作利用数据集中的多模态序列，探索了如何从历史交互中提取有效表征，并实现策略的泛化与组合，进一步拓展了数据集中任务结构的理论边界与应用潜力。

数据集最近研究

最新研究方向

在机器人学习领域，多模态感知与决策数据集正成为推动具身智能发展的关键资源。pi05-libero-10数据集以其丰富的视觉观测与状态动作对记录，为机器人模仿学习与强化学习算法提供了高质量的训练基础。当前研究聚焦于利用此类数据集探索视觉语言模型在机器人任务规划中的应用，旨在实现从自然语言指令到复杂动作序列的端到端映射。随着开源机器人平台LeRobot的普及，该数据集进一步促进了社区在跨任务泛化与少样本学习方面的实验，为家庭环境中长期自主操作系统的开发奠定了数据基石。