libero_goal

该数据集由LeRobot项目创建，包含机器人操作相关的多模态数据。数据集采用Apache 2.0许可协议，包含431个episodes、52869帧数据，覆盖10个不同任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为20fps。数据集包含多种观测数据，如图像（256x256 RGB）、机械臂状态（8维浮点数）、末端执行器状态（6维浮点数）、关节状态（7维浮点数）和夹爪状态（2维浮点数），以及7维的动作数据。所有数据均配有详细的结构描述和元数据信息。该数据集适用于机器人学习、控制算法开发等任务。

This dataset was developed by the LeRobot project and encompasses multimodal data for robotic manipulation tasks. Licensed under the Apache 2.0 open-source license, the dataset comprises 431 episodes and 52,869 frames spanning 10 distinct tasks. The data is stored in Parquet file format, with the total size of Parquet data files being 100 MB, the total size of video files being 200 MB, and a frame rate of 20 fps. It includes diverse observational modalities: 256×256 RGB images, 8-dimensional floating-point robot arm states, 6-dimensional floating-point end-effector states, 7-dimensional floating-point joint states, 2-dimensional floating-point gripper states, as well as 7-dimensional action data. All data is accompanied by comprehensive structural descriptions and metadata. This dataset is applicable to tasks including robotic learning and control algorithm development.

原始信息汇总

数据集概述

基本信息

• 数据集名称: libero_goal
• 创建工具: LeRobot
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot, libero, franka

数据集规模

• 总任务数: 10
• 总情节数: 431
• 总帧数: 52869
• 数据块大小: 1000
• 帧率: 20 FPS
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 数据格式: Parquet
• 视频格式: MP4 (AV1 编码)
• 数据拆分: 训练集 (0:431)

机器人平台

• 机器人类型: Franka

数据特征

观测数据

• observation.images.image: RGB 图像，形状 (256, 256, 3)，视频格式
• observation.images.wrist_image: 腕部 RGB 图像，形状 (256, 256, 3)，视频格式
• observation.state: 状态向量，形状 (8)，数据类型 float32，包含位置、轴角、夹爪状态
• observation.states.ee_state: 末端执行器状态，形状 (6)，数据类型 float32，包含位置和轴角
• observation.states.joint_state: 关节状态，形状 (7)，数据类型 float32，包含7个关节角度
• observation.states.gripper_state: 夹爪状态，形状 (2)，数据类型 float32

动作数据

• action: 动作向量，形状 (7)，数据类型 float32，包含位置、轴角和夹爪控制

元数据

• timestamp: 时间戳，形状 (1)，数据类型 float32
• frame_index: 帧索引，形状 (1)，数据类型 int64
• episode_index: 情节索引，形状 (1)，数据类型 int64
• index: 索引，形状 (1)，数据类型 int64
• task_index: 任务索引，形状 (1)，数据类型 int64

文件路径

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=OliverHausdoerfer/libero_goal

引用信息

• 论文: 未提供
• 主页: 未提供
• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于推动算法发展至关重要。libero_goal数据集依托LeRobot平台构建，通过Franka机器人执行一系列目标任务，系统采集了431个完整交互片段，共计52869帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。采集过程中同步记录了多模态观测信息，包括来自固定视角与腕部摄像头的视觉数据，以及机器人的关节状态、末端执行器状态和夹爪状态，辅以精确的时间戳和索引标记，为后续分析提供了结构化基础。

特点

该数据集在机器人操作任务中展现出鲜明的多模态与结构化特征。其核心优势在于融合了高分辨率的视觉流与精细的机器人状态向量，其中图像数据以256x256的RGB格式保存，帧率为20fps，编码采用高效的AV1格式。状态观测涵盖了8维的完整观测向量，并可进一步分解为末端执行器的6维位姿、7维关节角度及2维夹爪状态，行动空间则对应为7维连续控制指令。数据集覆盖了10种不同任务，所有数据均被整合于统一的训练划分中，这种设计便于模型学习跨任务的通用表征与策略。

使用方法

为有效利用libero_goal数据集，研究者可通过LeRobot提供的标准数据加载接口进行访问。数据集以分块Parquet文件组织，路径模式为data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet，同时提供对应的MP4格式视频文件以供可视化。典型的使用流程包括：加载指定数据块，解析其中的图像、状态与行动序列；利用帧索引、片段索引和任务索引进行数据筛选与对齐；进而用于机器人模仿学习、强化学习或视觉运动策略训练等任务。数据集的标准化特征定义确保了与主流机器人学习框架的兼容性，支持端到端的模型训练与评估。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的数据集对于推动模仿学习与强化学习算法的进步至关重要。libero_goal数据集作为LeRobot项目的一部分，旨在为机器人任务学习提供丰富的多模态演示数据。该数据集由HuggingFace社区贡献者OliverHausdoerfer构建，采用Franka机器人平台，收录了涵盖10种不同任务的431条轨迹，共计超过5.2万帧数据。其核心研究问题聚焦于如何通过视觉与状态观测的联合表示，使机器人能够理解并执行复杂的序列化目标导向任务，从而促进家庭与服务场景中机器人自主操作能力的发展。

当前挑战

libero_goal数据集所针对的领域挑战在于机器人目标条件模仿学习，即如何从高维视觉输入中有效提取语义信息，并泛化至未见过的任务环境。具体而言，数据集的构建面临多方面的困难：多传感器数据的同步与对齐需精密的时间戳处理，以确保图像、关节状态与末端执行器状态的一致性；大规模视频数据的存储与压缩需平衡视觉质量与存储效率，本数据集采用AV1编码以优化资源使用；此外，多样化的任务设计要求演示数据覆盖足够的动作空间与状态转移，以支持模型学习鲁棒的行为策略。

常用场景

经典使用场景

在机器人学习领域，libero_goal数据集为基于视觉的强化学习算法提供了丰富的实验平台。该数据集包含431个任务片段，涵盖10种不同任务，通过Franka机器人采集了包含图像、状态和动作的多模态数据。研究者常利用这些数据训练端到端的策略模型，模拟机器人从视觉输入到动作输出的映射过程，以验证算法在复杂环境中的泛化能力和鲁棒性。

衍生相关工作

围绕libero_goal数据集，衍生了一系列经典研究工作，包括基于Transformer的序列建模方法和分层强化学习架构。这些工作利用数据集的多模态特性，探索了视觉-动作对齐、状态表示学习等方向。部分研究进一步扩展了数据集的用途，将其作为基准测试平台，推动了机器人学习社区在仿真到真实迁移领域的创新。

数据集最近研究

最新研究方向

在机器人学习领域，视觉与状态数据的融合正成为推动智能体泛化能力提升的关键。libero_goal数据集以其丰富的多视角图像和精确的机械臂状态记录，为研究基于视觉的强化学习与模仿学习算法提供了坚实基础。当前前沿探索聚焦于跨任务技能迁移与长期目标导向策略的优化，借助该数据集的高质量演示轨迹，学者们致力于开发能够适应复杂动态环境的通用机器人控制模型。这一方向不仅呼应了具身智能的热潮，也为家庭服务与工业自动化场景中的机器人自主决策带来了新的可能性。