verl_vla_libero_collected

该数据集是一个使用LeRobot工具创建的机器人演示数据集，包含32个训练episodes，共计2990帧数据，帧率为10fps，以Parquet格式存储，总大小约100MB，采用Apache-2.0许可证。数据内容包含多模态观测和对应的机器人动作：观测部分包括两个视角的RGB视频（图像和腕部图像，分辨率均为256x256x3）以及一个8维的机器人状态向量；动作是一个7维的连续控制向量。每个数据点还包含奖励信号（next.reward）、episode完成标志（next.done）、截断标志（next.truncated）、人工干预标志（is_intervention）以及时间戳和各类索引（如帧索引、episode索引）。此外，数据集提供了一些用于强化学习的recap字段，包括回报（return）、价值估计（value）、优势函数（advantage）和指示器（indicator）。该数据集适用于机器人强化学习、模仿学习或行为克隆等任务，可用于训练从多模态观测（视觉+状态）到连续动作的映射策略。This dataset is a robot demonstration dataset created using the LeRobot tool. It contains 32 training episodes, totaling 2990 frames of data at a frame rate of 10fps, stored in Parquet format with a total size of approximately 100MB, and is licensed under Apache-2.0. The data includes multimodal observations and corresponding robot actions: the observation part consists of two-view RGB videos (image and wrist image, both with a resolution of 256x256x3) and an 8-dimensional robot state vector; the action is a 7-dimensional continuous control vector. Each data point also includes reward signals (next.reward), episode completion flags (next.done), truncation flags (next.truncated), human intervention flags (is_intervention), as well as timestamps and various indices (such as frame index and episode index). Additionally, the dataset provides some recap fields for reinforcement learning, including return, value estimation, advantage function, and indicator. This dataset is suitable for tasks such as robot reinforcement learning, imitation learning, or behavior cloning, and can be used to train mapping policies from multimodal observations (visual + state) to continuous actions.

原始信息汇总

数据集概述

• 名称: verl_vla_libero_collected
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模

指标	数值
总片段数 (episodes)	32
总帧数 (frames)	2990
总任务数 (tasks)	1
帧率 (fps)	10
数据文件大小	100 MB
视频文件大小	约 0 MB
数据划分	训练集: 片段 0 到 31

机器人类型

• 机器人型号: panda

数据特征

数据集包含以下特征字段，每个字段的类型、形状和说明如下：

特征字段	数据类型	形状	说明
observation.images.image	video	(256, 256, 3)	主摄像头图像，分辨率 256x256，RGB 3通道，AV1编码，帧率10fps
observation.images.wrist_image	video	(256, 256, 3)	腕部摄像头图像，分辨率 256x256，RGB 3通道，AV1编码，帧率10fps
observation.state	float32	(8,)	机器人状态，8维向量
action	float32	(7,)	动作指令，7维向量
next.reward	float32	(1,)	下一个时间步的奖励
next.done	bool	(1,)	下一个时间步是否结束
next.truncated	bool	(1,)	下一个时间步是否被截断
is_intervention	bool	(1,)	是否为人机干预帧
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引
recap.return	float32	(1,)	累积回报
recap.value	float32	(1,)	状态价值
recap.advantage	float32	(1,)	优势函数
recap.indicator	int64	(1,)	指示器

数据文件结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet (分块parquet文件)
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 (分块MP4视频文件)
• 元数据文件: meta/info.json 包含上述所有描述信息

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的质量与构建方式直接决定了模型泛化能力的上限。verl_vla_libero_collected 数据集基于 LeRobot 框架精心构建，采用 Franka Emika Panda 机器人平台采集数据，涵盖单一任务共计 32 个示范片段，总计 2990 帧时间序列。数据以 10 FPS 的帧率记录，并通过分块存储策略将数据保存为 Parquet 格式文件，而视觉观测则以 AV1 编码的 256×256 分辨率视频形式存储于独立视频文件中。数据集包含完整的训练集划分（0:32 片段），并提供了详尽的 meta/info.json 元信息文件，清晰定义了特征结构、存储路径及数据规模。

使用方法

使用该数据集时，建议通过 LeRobot 的数据加载接口直接读取 Parquet 格式的存储文件，或利用 Hugging Face 提供的可视化工具进行数据预览。用户需按数据集结构定义加载主观测图像、腕部图像、状态向量及动作序列。对于视频数据，应通过 video_path 指定的路径访问 AV1 编码的 MP4 文件，并配合元信息中的视频参数进行解码。训练过程中，代码可根据 10 FPS 的固定帧率对齐时间序列，并借助 is_intervention 标记区分专家干预与自主决策数据，便于模仿学习与行为克隆等任务的灵活实验配置。

背景与挑战

背景概述

该数据集名为verl_vla_libero_collected，由Hugging Face社区基于LeRobot框架创建，旨在为机器人操控任务提供高质量的训练样本。数据集采集自Panda机械臂，包含32个完整回合、2990帧图像与状态-动作对，聚焦于单一操控任务。其设计融合了视觉语言行动模型（VLA）的训练需求，通过高分辨率摄像头与腕部相机捕捉256x256像素的视觉输入，并结合8维状态向量与7维动作指令，为端到端模仿学习提供了标准化的数据格式。数据集采用Apache 2.0许可，强调开放性与可复现性，在机器人学习领域具有广泛的应用潜力，尤其推动了基于离线数据训练的操控策略研究。

当前挑战

该数据集所解决的核心领域挑战在于如何利用有限的高质量示范数据，训练机器人泛化至复杂操控任务。具体而言，数据仅含单一任务及32个回合，样本量不足可能限制策略的鲁棒性与泛化能力，易导致过拟合。构建过程中，挑战包括确保视觉与状态序列的时间一致性，应对10Hz采样率下动作平滑性缺失的问题，以及处理parquet与视频文件的高效存储与I/O瓶颈。此外，缺乏公开的论文与详细主页说明，使得数据采集细节、任务定义与评价基准尚不透明，阻碍了结果的复现与跨数据集比较。

常用场景

经典使用场景

在机器人学习与模仿学习领域，verl_vla_libero_collected 数据集因其包含高保真视觉观测与精确的关节级动作指令，常被用作训练视觉-语言-动作（VLA）模型的基础数据源。该数据集收集了在 Panda 机械臂上执行的 32 个完整轨迹，每个轨迹均包含来自固定视角和腕部摄像头的 256×256 像素图像序列，以及 8 维状态向量和 7 维动作向量，为端到端的机器人操作技能学习提供了细粒度的配对样本。研究者可借助该数据集中的低帧率（10 FPS）但高信息密度的片段，开展基于模仿学习的行为克隆实验或训练具备泛化能力的策略网络，尤其是在接触丰富的桌面操作任务中，其结构化的分块存储方式也便于实现高效的数据加载与离线训练。

解决学术问题

该数据集解决了机器人学习领域中一个根本性的学术难题：如何在大规模且可复现的演示数据上，高效地训练出能够将视觉信息直接映射至连续动作空间的策略模型。通过在标准化环境中提供带时间戳的、包含多种状态信息（如关节角度、奖励信号、任务完成标志）的轨迹，verl_vla_libero_collected 使研究者能够系统性地探索策略梯度方法中的 credit assignment 问题，以及如何在有限样本下克服动作分布偏移。此外，数据集中包含的干预指示标识（is_intervention）与回报统计量（recap.return, recap.advantage）为研究人机混合数据收集下的安全强化学习提供了关键基准，推动了对示范数据中非最优轨迹利用方式的深入理解。

实际应用

在实际部署中，基于此数据集训练出的 VLA 模型可显著提升工业与家用场景下机械臂的自主操作能力。例如，在柔性装配线上的零件拾取与放置任务中，模型可以借鉴数据集中的高效抓取策略，通过观察视觉输入实时生成精确的末端执行器轨迹，从而减少对人工示教的依赖。在消费级机器人领域，如辅助烹饪或物体整理等常见家务，该数据集所支撑的模仿学习算法能够使机器人通过少量的演示样本快速适应新环境中的对象姿态和布局变化。另外，其兼容 LeRobot 生态的特点，令学习者能够无缝将模型迁移至其他开放的机器人硬件平台，加速从仿真到真实世界的技能转化进程。

数据集最近研究

最新研究方向

基于视觉-语言-动作联合建模的具身智能操控数据集，前沿聚焦于利用大规模模仿学习与强化学习框架，结合高保真多模态观测数据（如顶置与腕部RGB图像、机器人本体状态），驱动泛化性更强的策略学习。该数据集依托Panda机械臂，通过LeRobot生态采集32条完整任务轨迹，涵盖图像、关节状态与动作序列的密集时序对应关系，为端到端视觉运动策略（如扩散策略、Transformer决策模型）的鲁棒训练提供了高质量基座。其紧凑的256×256分辨率与10Hz采样频率，兼顾了计算效率与时空精细度，使得研究者能有效探索机器人操作中环境理解与肢体协调的深层关联，在自主任务泛化与零样本迁移等热点方向上展现出关键推动价值。