libero_10

该数据集由LeRobot创建，专注于机器人技术领域，特别是使用Franka机器人。数据集包含386个episodes，102892帧，覆盖10个任务。数据以parquet文件格式存储，视频以mp4格式存储。数据集包含多种观测特征（如图像、状态、末端执行器状态、关节状态、夹爪状态）、动作数据以及元数据（如时间戳、帧索引、episode索引、索引、任务索引）。数据集采用Apache 2.0许可证。

原始信息汇总

数据集概述

基本信息

• 数据集名称: libero_10
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, libero, franka

数据集规模

• 总任务数: 10
• 总情节数: 386
• 总帧数: 102,892
• 数据块大小: 1000
• 帧率: 20 FPS
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB

数据划分

• 训练集: 包含全部386个情节（索引范围: 0:386）

数据结构与特征

数据以Parquet文件格式存储，路径模式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频以MP4文件格式存储，路径模式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

观测特征

• observation.images.image:

  • 类型: 视频
  • 形状: [256, 256, 3]
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图，无音频

• observation.images.wrist_image:

  • 类型: 视频
  • 形状: [256, 256, 3]
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图，无音频

• observation.state:

  • 类型: float32
  • 形状: [8]
  • 维度名称: ["x", "y", "z", "axis_angle1", "axis_angle2", "axis_angle3", "gripper", "gripper"]

• observation.states.ee_state:

  • 类型: float32
  • 形状: [6]
  • 维度名称: ["x", "y", "z", "axis_angle1", "axis_angle2", "axis_angle3"]

• observation.states.joint_state:

  • 类型: float32
  • 形状: [7]
  • 维度名称: ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"]

• observation.states.gripper_state:

  • 类型: float32
  • 形状: [2]
  • 维度名称: ["gripper", "gripper"]

动作特征

• action:
  • 类型: float32
  • 形状: [7]
  • 维度名称: ["x", "y", "z", "axis_angle1", "axis_angle2", "axis_angle3", "gripper"]

元数据特征

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: franka
• 主页: 信息缺失
• 论文: 信息缺失
• 引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于推动算法发展至关重要。libero_10数据集依托LeRobot平台构建，专门针对Franka机器人设计，涵盖了10项不同的任务场景。数据采集过程系统性地记录了386个完整交互片段，总计超过10万帧图像与状态信息，并以20帧每秒的速率同步捕获了机器人的视觉观察与动作执行序列。原始数据经过结构化处理，被组织为Parquet格式文件，便于高效存储与访问，同时辅以AV1编码的视频文件，确保了多模态数据的完整性与一致性。

特点

该数据集在机器人操作任务中展现出鲜明的多模态特性，不仅提供了256x256分辨率的RGB图像，包括固定视角与腕部摄像头画面，还整合了精细的机器人状态向量，如末端执行器位姿、关节角度及夹爪状态。数据维度设计科学，动作空间以七自由度向量表征，与观测状态对齐，支持端到端策略学习。数据集规模适中，包含十万余帧数据，任务多样性覆盖了多种操作场景，为算法验证与模型训练提供了丰富的实验基础。

使用方法

研究人员可通过HuggingFace平台直接访问libero_10数据集，利用其标准化的Parquet数据文件进行加载与分析。数据集已预划分为训练集，支持按片段索引读取观测图像、状态信息及对应动作标签。用户可结合LeRobot工具链进行数据可视化与预处理，或将数据集集成至现有机器人学习框架中，用于行为克隆、强化学习等任务的模型训练与评估。数据集的模块化存储结构便于分布式处理，能够有效支持大规模机器学习实验的开展。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的实际应用至关重要。libero_10数据集由LeRobot项目团队构建，依托Franka机器人平台，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集涵盖了10种不同的任务场景，包含386个完整交互片段与超过10万帧的视觉及状态观测记录，其核心研究问题聚焦于如何通过真实环境下的示范数据，提升机器人对复杂操作技能的理解与泛化能力。这一数据资源的出现，为学术界与工业界在机器人灵巧操作、多任务学习等前沿方向提供了宝贵的实证基础，促进了数据驱动机器人技术的迭代与发展。

当前挑战

libero_10数据集致力于解决机器人操作任务中的模仿学习与策略泛化问题，其核心挑战在于如何从有限的任务演示中提取可迁移的技能表示，并适应真实环境中的动态变化与不确定性。在数据集构建过程中，研究人员面临多方面的技术难题，包括多传感器数据的精确同步与校准、高维视觉信息与机器人状态的高效压缩存储，以及确保演示数据在任务多样性与操作一致性之间的平衡。此外，数据采集需克服机器人硬件控制延迟、环境光照变化等现实约束，保证数据质量与后续算法训练的可靠性，这些挑战共同构成了该数据集在推动机器人学习研究中的关键瓶颈。

常用场景

经典使用场景

在机器人学习领域，libero_10数据集以其丰富的多模态观测数据，为模仿学习与强化学习算法的训练提供了经典范例。该数据集记录了Franka机械臂执行10种不同任务的过程，包含图像、状态与动作序列，使得研究者能够基于真实机器人交互数据，构建端到端的策略模型，从而模拟人类操作员的技能迁移。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与泛化能力不足的挑战。通过提供高质量、多视角的视觉与状态数据，它支持算法在有限真实世界交互中学习复杂任务，促进了从仿真到实物的迁移研究，并推动了基于模型的强化学习与离线强化学习方法的创新，为机器人自主技能获取奠定了数据基础。

衍生相关工作

围绕libero_10数据集，衍生了一系列专注于机器人视觉运动控制的研究。例如，结合Transformer架构的序列建模方法，利用其多模态时序数据预测动作序列；此外，基于扩散模型的策略学习也借助此类数据集，生成多样化的机器人行为。这些工作共同推动了数据驱动机器人学的前沿发展。