PermaBotLabo

该数据集使用LeRobot工具创建，是一个机器人控制领域的开源数据集，采用Apache 2.0许可证。数据集围绕so101_follower机器人平台构建，包含180个完整任务片段（episodes），共计111,945个数据帧，采样频率为30 Hz。数据以分块Parquet文件格式存储，并配套有MP4格式的视频文件。数据集的核心是多模态时序记录，每个时间步包含：1）动作：一个6维浮点向量，表示机器人六个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的目标位置；2）状态观测：一个与动作维度相同的6维浮点向量，记录同一时刻各关节的实际位置；3）图像观测：提供两个固定视角的同步RGB视频流，分别是顶部摄像头（observation.images.top）和前方摄像头（observation.images.front），分辨率均为640x480，编码格式为AV1；4）元数据：包括时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、全局索引（index）和任务索引（task_index）。该数据集结构完整，同时包含低维状态（关节角度）和高维视觉观测，适用于机器人模仿学习、行为克隆、离线强化学习以及多模态感知与控制策略的研究与模型训练。This dataset is created using the LeRobot tool and is an open-source dataset in the field of robot control, licensed under Apache 2.0. It is built around the so101_follower robot platform, containing 180 complete task episodes with a total of 111,945 data frames sampled at 30 Hz. The data is stored in chunked Parquet file format and accompanied by MP4-format video files. The core of the dataset is multimodal temporal recordings, where each timestep includes: 1) Action: a 6-dimensional floating-point vector representing target positions for the robots six joints (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper); 2) State observation: a 6-dimensional floating-point vector of the same dimension as the action, recording the actual positions of each joint at the same moment; 3) Image observation: two synchronized RGB video streams from fixed perspectives, namely a top camera (observation.images.top) and a front camera (observation.images.front), both with a resolution of 640x480 and encoded in AV1; 4) Metadata: including timestamp, frame_index, episode_index, index, and task_index. The dataset is structurally complete, encompassing both low-dimensional states (joint angles) and high-dimensional visual observations, making it suitable for research and model training in robot imitation learning, behavior cloning, offline reinforcement learning, and multimodal perception and control strategies.

原始信息汇总

数据集概述：PermaBotLabo

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：该数据集使用 LeRobot 创建。

数据集结构

数据集包含一个默认配置（default），数据文件路径为 data/*/*.parquet。

元信息摘要（meta/info.json）：

• 代码库版本：v3.0
• 机器人类型：so101_follower
• 总片段数（episodes）：180
• 总帧数（frames）：111,945
• 总任务数：1
• 块大小（chunks_size）：1000
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 帧率（FPS）：30
• 数据集划分：所有 180 个片段均用于训练（train: 0:180）
• 数据文件路径格式：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径格式：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征（Features）

数据集包含以下特征字段：

特征名称	数据类型	形状	说明
action	float32	[6]	动作数据，包含 6 个关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）
observation.state	float32	[6]	观察到的机器人状态，与 action 具有相同的 6 个关节位置
observation.images.top	video	[480, 640, 3]	顶部摄像头视频，分辨率 480x640，3 通道，编码为 AV1，帧率 30 FPS
observation.images.front	video	[480, 640, 3]	前置摄像头视频，分辨率 480x640，3 通道，编码为 AV1，帧率 30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。PermaBotLabo数据集基于LeRobot框架构建，通过so101_follower型机器人平台采集得到。数据集共包含180个完整episode，总计111945帧数据，所有数据均被划分为训练集。数据以Parquet格式存储为多个块文件，视频流则采用AV1编码的MP4格式保存，实现了高效的压缩与检索。每个episode均记录了从肩部到夹爪的六维关节动作与状态，以及顶部和正面两个视角的640x480分辨率视觉图像，充分满足了模仿学习与操控任务的数据需求。

特点

该数据集呈现出鲜明的结构化与多模态特征。所有动作与状态信息均以32位浮点数精确记录六自由度联合空间数据，时间戳与帧索引提供了细粒度的时间对齐能力。视觉观测采用双视角设计，包含顶部与正面两个独立视频流，帧率为30FPS，为空间感知与遮挡处理提供了冗余信息。数据集规模适中，总存储空间约300MB，其中视频数据占200MB，兼顾了数据丰富性与存储效率。单一任务设定使得180个episode专注于同一操控目标的变体采样，有利于模型学习稳定的运动策略。

使用方法

使用PermaBotLabo数据集时，研究者可直接通过LeRobot库加载Parquet格式的样本块文件，并利用内置的数据集接口自动管理chunk索引与视频路径映射。训练过程中，可采用标准的模仿学习pipeline，从'observation.state'提取关节状态作为策略输入，结合'action'字段进行行为克隆；视觉策略则可并行从'observation.images.top'和'observation.images.front'提取双视角图像，构建端到端的视觉运动模型。数据集已预设train:0-179的拆分比例，无需额外划分即可开始实验。

背景与挑战

背景概述

随着机器人学习领域的快速发展，模仿学习已成为一种高效的技术范式，它使机器人能够通过观察人类演示来习得复杂操作技能。在此背景下，PermaBotLabo数据集应运而生，由Hugging Face社区依托LeRobot框架构建而成，旨在为机械臂精细操作提供标准化的训练与评估资源。该数据集于2024年发布，采用Apache-2.0开源协议，包含180个演示回合、超过11万帧数据以及一个核心任务，其特色在于融合了6维动作空间与多视角视觉观测（含顶部和正面摄像头），为6自由度SO101_follower型机械臂的精准控制提供了丰富的高质量示范样本。作为LeRobot生态系统的重要组成部分，PermaBotLabo数据集填补了机器人领域标准化数据资源的空白，有效推动了从仿真环境到真实机械臂技能迁移的研究进展。

当前挑战

PermaBotLabo数据集主要面临两大挑战。在领域问题层面，该数据集聚焦于单一任务的机械臂精细操作模仿学习，然而真实工业或服务场景常需机器人处理多类动态任务，现有数据的单一性难以支撑跨任务泛化能力研究；同时，仅有6维关节空间动作标注，缺乏末端执行器位姿或力矩等中级表征，限制了它在复杂接触性任务（如装配、操作易碎品）中的应用深度。在构建过程中，数据集依赖遥操作示教方式获取，每次演示的一致性受操作者技能水平与物理噪声影响，可能引入随机性差异；此外，180个回合的规模在深度学习时代稍显不足，难以支撑大规模神经网络的充分训练，数据采集效率与多样性仍是制约其影响力的关键瓶颈。

常用场景

经典使用场景

PermaBotLabo数据集为机械臂操作任务的学习与评估提供了精细化的多模态数据支撑。其核心特色在于采集了SO-101跟随型机械臂在单一任务场景下多达180个回合的完整交互轨迹，包含每秒30帧的彩色视觉图像（顶视与前视双视角）、六维关节空间状态及对应的动作指令。研究者常利用该数据集进行模仿学习算法的基准测试，通过从专家演示中直接学习动作策略，观察模型在连续控制任务中的泛化能力与执行精度。

解决学术问题

该数据集针对机器人学习中的核心难题——如何从有限的高质量演示中高效提取行为策略——提供了标准化验证平台。传统强化学习依赖大量试错交互，而PermaBotLabo通过提供精准的状态-动作配对序列，使得研究者能够聚焦于离策略学习、行为克隆以及逆强化学习等方法的性能对比。其标准化的数据格式（含100MB的parquet结构化数据与200MB的压缩视频）显著降低了复现门槛，推动了机器人操作任务中数据驱动方法的可重复性研究。

衍生相关工作

PermaBotLabo遵循LeRobot框架的标准化结构，直接促成了多项衍生工作。研究者基于其提供的原始观测与动作数据，开发了适用于机械臂的扩散策略（Diffusion Policy）模型，实现了更平滑的运动生成；同时，该数据集也被用于验证时序对齐网络（Temporal Alignment Networks）在跨视角学习中的有效性。此外，其多视角图像与状态信息的联合建模需求，推动了视觉-运动融合架构的改进，如基于Transformer的隐式行为克隆方法的提出。