libero_trajectory_augmented

Libero Trajectory Augmented Dataset是一个用于机器人学习的增强轨迹数据集，专门为LIBERO基准测试设计。该数据集旨在解决离线强化学习和视觉-语言-动作模型训练中专家演示分布狭窄的问题，通过提供分布外恢复轨迹来人工增强离线数据集的鲁棒性，无需人工遥操作。数据生成采用逆向动作范式：在原始专家演示的关键状态（如抓取或交互前）注入有界6D坐标噪声到机器人末端执行器状态，迫使专家策略从噪声干扰的分布外状态恢复并完成任务。每个原始专家演示生成2个增强轨迹，使数据集规模增至原始的三倍。这种噪声注入创造了轨迹长度的变异性，迫使模型学习恢复动作，提高了分布外鲁棒性。数据集采用原生Hugging Face LeRobot v3.0格式，包含高度压缩的Parquet文件用于表格化状态/动作数据，以及高效SVT-AV1分块MP4视频用于视觉观察。方向为完美原生OpenCV格式（正立、未镜像），已动态校正底层Robosuite OpenGL渲染伪影以匹配8D NVIDIA模式。数据集包含三个LIBERO套件的完整处理子目录：libero_goal、libero_spatial和libero_object。适用于训练需要从分布外状态恢复的鲁棒机器人策略，特别是需要处理轨迹长度变异性和空间配置变化的场景。Libero Trajectory Augmented Dataset is a trajectory-augmented dataset for robotic learning, specifically designed for the LIBERO benchmark. This dataset aims to address the issue of narrow expert demonstration distributions in offline reinforcement learning and vision-language-action model training, artificially enhancing the robustness of offline datasets by providing out-of-distribution recovery trajectories without requiring manual teleoperation. The data generation adopts the reverse action paradigm: bounded 6D coordinate noise is injected into the robot end-effector state at key states of the original expert demonstrations (e.g., before grasping or interaction), forcing the expert policy to recover from the noise-disturbed out-of-distribution states and complete the task. Each original expert demonstration generates 2 augmented trajectories, increasing the dataset size to three times the original scale. This noise injection creates variability in trajectory length, forcing models to learn recovery actions and improving out-of-distribution robustness. The dataset uses the native Hugging Face LeRobot v3.0 format, including highly compressed Parquet files for tabulated state/action data, and efficient SVT-AV1 chunked MP4 videos for visual observations. The orientation follows the perfect native OpenCV format (upright, not mirrored), and underlying Robosuite OpenGL rendering artifacts have been dynamically corrected to match the 8D NVIDIA mode. The dataset includes fully processed subdirectories for the three LIBERO suites: libero_goal, libero_spatial, and libero_object. It is suitable for training robust robotic policies that require recovery from out-of-distribution states, especially scenarios that need to handle trajectory length variability and spatial configuration changes.

原始信息汇总

数据集名称

Libero Trajectory Augmented Dataset

许可证

Apache-2.0

数据集概述

该数据集为 LIBERO 基准测试的官方格式 LeRobot (v3.0+) 数据集，通过物理状态扰动（Physical State Perturbation）进行了增强。旨在通过提供分布外（OOD）恢复轨迹来增强离线数据集的鲁棒性，无需人工遥操作。通过学习这些增强轨迹，策略能够接触到更高的轨迹长度变异性、改变的空间配置，并学习明确的恢复行为。

增强方法

• 生成引擎：使用 Robosuite MuJoCo 引擎动态生成轨迹。
• 方法：采用逆动作范式，具体步骤包括：
  1. 加载原始专家演示。
  2. 将环境推演到关键状态（例如，抓取或交互前的时刻）。
  3. 向机器人末端执行器状态注入有界的 6D 坐标噪声。
  4. 强制专家策略从噪声、分布外的状态中恢复并成功完成任务。

数据集规格

• 增强规模：每个原始专家演示生成 2 条增强轨迹，有效将原始数据集大小扩大 三倍。
• 变异性：噪声注入带来轨迹长度变异性，迫使模型学习恢复动作，提升分布外鲁棒性。
• 方向：完美原生 OpenCV（正立、无镜像）。生成过程中动态校正了底层 Robosuite OpenGL 渲染伪影（X/Y 轴反转），以匹配 8D NVIDIA 原生模式。
• 格式：原生 Hugging Face LeRobot v3.0 数据集，包含：
  • 高度压缩的 Parquet 文件存储表格状态/动作数据。
  • 高效 SVT-AV1 分块 MP4 视频存储视觉观察。

包含的数据子集（Suites）

本仓库包含以下 LIBERO 子目录的完整处理数据：

• libero_goal
• libero_spatial
• libero_object

使用示例

使用 Hugging Face LeRobotDataset API 加载数据： python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

加载增强后的 libero_goal 数据集

dataset = LeRobotDataset("JDhruvR/libero_trajectory_augmented/libero_goal")

搜集汇总

数据集介绍

构建方式

在机器人学习领域，离线强化学习与视觉-语言-动作模型常受限于专家示范数据的狭窄分布。libero_trajectory_augmented数据集通过物理状态扰动技术，在Robosuite MuJoCo引擎中动态生成轨迹。具体而言，该方法加载原始专家示范后，推演至关键状态（如抓取前一刻），对机械臂末端执行器注入有界的六维坐标噪声，迫使专家策略从失真的非分布状态中恢复并完成任务。每个原始示范对应生成两条增强轨迹，使数据集规模扩充至三倍，有效提升了策略对分布外场景的鲁棒性。

使用方法

研究人员可通过Hugging Face LeRobotDataset API直接加载该数据集，仅需指定相应子套件的目录路径即可。例如，使用`LeRobotDataset('JDhruvR/libero_trajectory_augmented/libero_goal')`即可加载增强后的libero_goal数据集。该接口支持高效的数据流式读取与批处理，便于下游策略训练与评估。数据集遵循Apache-2.0许可证，引用时需注明LIBERO原论文及LeRobot工具链，以确保学术合规性。

背景与挑战

背景概述

在机器人学习领域，尤其是离线强化学习与视觉-语言-动作模型的研究中，专家演示数据集的匮乏与分布狭窄长期制约着策略的泛化能力。为此，由博·刘（Bo Liu）等研究者于2023年在《神经信息处理系统进展》上提出的LIBERO基准，聚焦终身机器人学习中的知识迁移问题，随后衍生了经物理状态扰动增强的轨迹数据集（Libero Trajectory Augmented Dataset）。该数据集由Dhruv R.等研究人员在Robosuite MuJoCo引擎上构建，通过逆动作范式在关键状态注入有界六维坐标噪声，迫使专家策略从分布外状态恢复，从而生成远超原始演示分布的高变异性轨迹。其规模达原始专家演示的三倍，涵盖libero_goal、libero_spatial、libero_object三大子套件，以LeRobot v3.0格式存储，包含高效压缩的Parquet状态动作数据与SVT-AV1编码的视觉观测视频，为提升机器人策略的鲁棒性与分布外恢复能力提供了关键数据支撑。

当前挑战

该数据集所应对的核心挑战在于，现有离线强化学习与视觉-语言-动作模型在训练时过度拟合于狭窄的专家演示分布，导致面对未见的噪声扰动或灵巧操作场景时策略崩溃。其通过物理状态扰动人为注入轨迹长度变异与空间构型改变，迫使模型学习显式的恢复行为，解决了从分布外状态成功完成任务的根本难题。在构建过程中，研究者面临两大挑战：一是如何在保留任务完成逻辑的前提下，精准识别并选择关键状态（如抓取或交互前瞬间）进行噪声注入，以避免破坏演示的有效性；二是需动态纠正Robosuite OpenGL渲染的坐标轴反转伪影，以匹配原生NVIDIA 8D坐标规范，同时确保增强轨迹长度与原始演示的可比性，从而平衡数据多样性与任务成功率之间的张力。

常用场景

经典使用场景

在机器人学习与操控领域，libero_trajectory_augmented数据集最经典的用途在于为离线强化学习与视觉-语言-动作模型提供丰富且具有挑战性的训练素材。它通过对LIBERO基准套件中的专家演示轨迹施加受控的物理状态扰动，生成大量分布外的恢复轨迹，使训练出的策略能够应对更长的动作序列、变化的空间构型以及意外偏离理想路径后的自我修正任务。这类增强数据特别适用于训练那些需要在真实环境中展现高鲁棒性的机器人操控智能体。

解决学术问题

该数据集直击离线强化学习中面临的核心难题——专家演示分布狭窄导致策略泛化能力薄弱。传统数据集缺乏对意外偏移场景的有效覆盖，而libero_trajectory_augmented通过结构化噪声注入与逆动作范式，系统地创建了分布外恢复样本，使得学术研究能够深入探索策略在状态偏移下的稳定学习与自适应修复机制。它的出现显著推动了对抗性鲁棒性训练、零样本迁移以及长时序动作规划的学术进展，为构建真正通用且坚韧的机器人学习系统奠定了数据基石。

实际应用

在实际工业与家庭服务机器人部署中，该数据集赋能了故障恢复与异常处理策略的开发。例如，当机械臂在抓取任务中因传感器误差或环境变动而偏离预定轨迹时，基于本数据集训练的策略能自动触发精准修正动作，确保任务顺利完成。它在自动仓储分拣、医疗辅助操作以及智能家居服务等场景中，有效降低了因操作偏差导致的失败率，提升了机器人系统的可靠性与可部署性。

数据集最近研究

最新研究方向

libero_trajectory_augmented数据集通过物理状态扰动生成分布外恢复轨迹，旨在增强离线强化学习与视觉-语言-动作模型在机器人操作任务中的鲁棒性。针对专家演示数据分布狭窄的痛点，该数据集采用逆动作范式在关键状态注入有界六维噪声，迫使策略学习从偏离最优路径的状态中自主恢复。这一前沿方向与具身智能领域对泛化能力的追求紧密相关，尤其在终身机器人学习中，提升策略对轨迹长度、空间构型等变异因素的适应力已成为热点。该数据集将原始规模扩大三倍，为研究分布外恢复行为与策略鲁棒性提供了关键资源，对推动机器人从固定示范向动态自适应场景迁移具有深远意义。