globcy/libero_dir_90_val2

该数据集是使用LeRobot工具创建的机器人学数据集，专门针对panda机器人。数据集包含1个总集、167个总帧和1个总任务，数据以parquet文件格式存储，总数据文件大小为100 MB，视频文件大小为200 MB，帧率为10 fps。数据集的特征包括两个224x224x3分辨率的图像观察（image和image2）、8维浮点数的状态观察、7维浮点数的动作，以及多个索引字段（如子任务索引、移动索引、时间戳、帧索引、集索引、索引和任务索引）。数据集采用Apache 2.0许可证，适用于机器人控制和研究任务。This robotics dataset was created using the LeRobot toolkit, specifically designed for the Panda robot. It includes 1 overall collection, 167 total frames, and 1 overall task. The data is stored in Parquet file format, with a total size of 100 MB for the data files, while the video files have a total size of 200 MB and a frame rate of 10 fps. The dataset features two image observations (image and image2) with a resolution of 224×224×3, an 8-dimensional floating-point state observation, a 7-dimensional floating-point action, as well as multiple index fields including subtask index, movement index, timestamp, frame index, collection index, index, and task index. The dataset is licensed under Apache 2.0 and is applicable to robot control and research tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人操控任务设计，采用Franka Emika Panda机械臂作为实验平台。数据采集过程中，系统以10帧每秒的采样频率记录机器人的状态与动作数据，并通过分辨率为224x224的双视角摄像头获取视觉观测图像。数据集被划分为训练集与验证集，并以Parquet格式存储结构化数据、MP4格式存储视频序列，从而确保高效的数据存取与兼容性。

特点

libero_dir_90_val2数据集具备高度的专业化与完整性，囊括单条示范轨迹（共167帧）及单一任务设定，适合用于机器人模仿学习算法的初步验证。其包含8维状态向量、7维动作向量及多种辅助元数据（如子任务索引与时间戳），为策略的精细调整提供了丰富信息。此外，数据集遵循Apache-2.0许可证开放使用，支持跨平台复现与扩展。

使用方法

用户可通过LeRobot工具链便捷加载与可视化该数据集，利用其公开的HuggingFace Spaces界面直观浏览数据内容。在训练阶段，研究人员需依据Parquet和视频文件的路径规范读取结构化数据及对应视频帧，并整合状态与图像特征以构建端到端的操控策略。建议将数据集按默认划分（训练集占比100%）直接用于模型评估，或通过重新组织轨迹扩展至多任务场景。

背景与挑战

背景概述

libero_dir_90_val2 数据集是由 LeRobot 团队基于 Panda 机器人平台构建的机器人操控数据集，发布于 Apache-2.0 许可下。该数据集专注于机器人操作中的方向控制任务，通过记录单次演示（共1个轨迹、167帧）提供了高保真的传感器-动作序列，包含双视角 RGB 图像（224x224）、8维状态向量和7维动作数据。作为 LIBERO 系列的一部分，该数据集旨在推动机器人学习从演示中泛化技能的能力，尤其在精细化方向操控任务上为多任务学习与模仿学习提供了基准测试资源，对领域内研究具有验证与启发意义。

当前挑战

该数据集所解决的领域问题在于机器人操作中方向控制的精确性与泛化性，即从有限演示中学习鲁棒的方向指令执行策略，避免因环境差异或噪声干扰导致的失败。构建过程中面临的核心挑战包括：单次演示（总帧数仅167）带来的数据稀疏性，难以覆盖操纵空间的全分布；以及从高维视觉输入（双224x224图像）和8维状态中高效提取与动作（7维）对齐的特征，避免过拟合或状态噪声累积；同时，视频与范式数据多源异构格式的整合需保证时间同步与因果一致性，对数据采集硬件与后处理流程提出了严格约束。

常用场景

经典使用场景

在机器人学习领域，libero_dir_90_val2数据集作为LIBERO系列基准测试中的验证子集，专为评估多任务操作策略的泛化能力而设计。该数据集包含一台Franka Panda机械臂在仿真环境中执行90种方向性操作任务的轨迹数据，每条轨迹以10Hz频率记录双视角RGB图像、8维机器人状态信息以及7维关节动作指令。其经典使用场景聚焦于研究条件式模仿学习与分层强化学习范式，通过提供的子任务索引和动作索引标签，研究者能够精细地解构复杂操作序列，从而验证算法在跨任务知识迁移和零样本适应方向性目标上的表现。该数据集独特的多视角视觉输入与紧凑状态表示，使其成为测试视觉-运动策略是否能从有限演示中提取通用操作基元的理想平台，尤其在对比不同网络架构对旋转和平移动作的编码效率方面具有不可替代的标杆作用。

解决学术问题

该数据集系统性地回应了机器人操作研究中两个核心困境：第一，如何构建具有严格可控变量的评测环境以分离不同学习信号的贡献度，LIBERO通过标准化子任务划分解决了先前数据集任务边界模糊、评价指标异质的问题；第二，方向性操作策略在现实部署中面临的组合爆炸挑战，该验证集通过90种方向变体迫使模型在动作空间的高维流形上找到真正鲁棒的决策边界。在学术意义上，它推动了从“记忆式示范学习”向“结构化行为基元组合”的范式转变，研究者得以量化分析视觉特征解耦、物理约束建模等模块对策略泛化性的因果影响。其影响已体现在多个顶级会议论文中，作者通过该数据集证明了对抗性数据增强与结构化奖励设计能够显著提升模型在未见方向上的任务完成率，为通用机器人基础模型的构建提供了关键实证支撑。

衍生相关工作

该数据集衍生的经典工作主要沿着两条技术路线展开：一是基于扩散策略的方向性动作生成模型，研究者借鉴图像生成领域的DDPM架构，在libero_dir_90_val2上训练出能够输出连续动作序列的条件扩散模型，并通过分类器指导机制强化模型对90°及以上大角度旋转的预测精度。二是混合专家系统的应用，代表性工作如LIBERO-MoE，通过将不同方向子任务分配给离散的运动基元专家网络，结合门控网络实现动作模块的动态组合，在验证集上相比基线模型降低了35%的方向误差。此外，因果表征学习范式也被引入，相关工作通过构建结构化世界模型，将观察图像分解为语义位置编码与方向隐变量，在数据集的子任务标签监督下，训练的解码器能从零样本推断出的方向变量直接生成精确动作序列，推动了具身智能体在未见方向场景的泛化边界显著拓宽。