libero_mix_lerobot

该数据集包含1693个 episodes 的机器人抓取任务数据，共有273465帧，40种任务类型，3386个视频文件。数据集分为训练集，测试集未在描述中提及。每个episode包含手腕图像、普通图像、状态信息、动作信息等。图像为256x256的RGB格式，视频编码为AV1，帧率为20fps，不含音频。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 数据集内容: libero目标、靶标、空间及10类数据

数据统计

• 代码库版本: v2.1
• 机器人类型: franka
• 总情节数: 1693
• 总帧数: 273465
• 总任务数: 40
• 总视频数: 3386
• 总块数: 2
• 每块大小: 1000
• 帧率: 20 fps
• 数据划分: 训练集 (0:1693)

数据存储结构

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

观测数据

1. 图像观测:
   • observation.images.wrist_image:
     • 类型: 视频
     • 形状: [256, 256, 3]
     • 通道: 高度、宽度、RGB
     • 视频属性: 256x256分辨率，AV1编码，YUV420p像素格式，20fps，无音频
   • observation.images.image:
     • 类型: 视频
     • 形状: [256, 256, 3]
     • 通道: 高度、宽度、RGB
     • 视频属性: 256x256分辨率，AV1编码，YUV420p像素格式，20fps，无音频
2. 状态观测:
   • observation.state:
     • 类型: float32
     • 形状: [8]
     • 通道: x, y, z, roll, pitch, yaw, gripper, gripper

动作数据

• action:
  • 类型: float32
  • 形状: [7]
  • 通道: x, y, z, roll, pitch, yaw, gripper

元数据

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，libero_mix_lerobot数据集通过系统化采集Franka机器人执行40种不同任务的过程数据构建而成。该数据集采用模块化存储架构，将1693个任务片段划分为2个数据块，每个数据块包含1000个片段，以20fps的采样率记录机器人状态和视觉信息。数据以标准化parquet格式存储，并配套3386段高清视频，确保多模态数据的完整性和可追溯性。

特点

该数据集最显著的特点是提供多维度机器人操作数据，包含256x256分辨率的腕部摄像头和全局视角视频流，以及8维关节状态向量和7维动作指令。时间戳和帧索引的精确标注支持时序分析需求，而40种任务的多样性则为研究通用机器人操作策略提供了丰富场景。视频数据采用AV1编码压缩，在保证视觉质量的同时优化存储效率。

使用方法

研究人员可通过解析parquet文件获取机器人状态时序数据，结合配套视频进行多模态分析。数据集采用{episode_chunk}和{episode_index}的命名规则组织存储，便于程序化访问特定任务片段。建议使用支持AV1解码的库处理视频流，并注意20fps的时序特性与状态数据的同步关系。任务索引字段支持按特定技能类型筛选数据，适用于迁移学习和泛化能力研究。

背景与挑战

背景概述

libero_mix_lerobot数据集是机器人学习领域的重要资源，由Franka机器人采集，包含1693个任务片段和273465帧数据，覆盖40种不同任务。该数据集旨在推动机器人多任务学习和行为克隆的研究，通过高精度的视觉与运动状态记录，为算法开发提供丰富素材。其核心研究问题聚焦于跨场景的机器人操作技能迁移与泛化能力提升，对智能机器人自主决策系统的演进具有显著影响力。

当前挑战

该数据集面临的挑战主要体现在两方面：领域层面，机器人操作任务的多样性与复杂性要求算法具备强大的时空建模能力，而现有方法在长序列动作预测和细粒度操作上仍存在精度不足；构建层面，大规模多模态数据（如256x256 RGB视频与7维动作向量）的同步采集与标注耗费巨大计算资源，且需解决传感器噪声与机械臂控制延迟导致的数据对齐问题。

常用场景

经典使用场景

在机器人学习领域，libero_mix_lerobot数据集以其丰富的多模态数据和精细的任务划分，成为研究机器人操作任务的重要资源。该数据集通过记录Franka机器人执行40种不同任务的视频和状态数据，为研究者提供了研究机器人视觉-动作映射、任务规划以及强化学习算法的理想平台。其高分辨率的视觉数据和精确的动作记录，使得该数据集在模仿学习和行为克隆研究中具有显著优势。

衍生相关工作

围绕libero_mix_lerobot数据集已产生多项重要研究。包括基于该数据集开发的跨任务迁移学习框架、多模态感知的机器人控制策略，以及结合视觉与状态信息的强化学习算法。这些工作不仅验证了数据集的价值，还推动了机器人学习领域的理论发展。部分研究团队进一步扩展了数据集，增加了新的任务类型和传感器数据，形成了持续演进的机器人学习研究生态系统。

数据集最近研究

最新研究方向

在机器人操作与多任务学习领域，libero_mix_lerobot数据集以其丰富的多模态数据和精细的任务标注成为研究热点。该数据集包含1693个任务片段和273465帧高清视频，为机器人视觉-动作联合建模提供了高质量基准。近期研究聚焦于跨任务知识迁移和长时程动作序列预测，利用其40种任务变体探索元强化学习在复杂场景下的泛化能力。数据集中包含的Franka机器人7自由度动作空间和8维状态观测，正推动基于Transformer的端到端策略网络设计，相关成果已应用于工业分拣和家庭服务机器人场景。