Greynar/PermaBotLabo

该数据集由LeRobot创建，专注于机器人领域。数据集包含120个训练片段，总计83876帧，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集的特征包括：动作信息（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、观测状态（与动作相同的6个关节位置）、两个视角的图像观测（顶部摄像头和前置摄像头，分辨率均为480x640，RGB三通道）、时间戳、帧索引、片段索引、索引和任务索引。数据集用于训练或评估机器人控制模型，特别是基于视觉和状态信息的任务。This dataset was created using LeRobot and focuses on the robotics domain. It contains 120 training episodes, totaling 83,876 frames at 30 fps. The data is stored in parquet format, and videos are in mp4 format. The dataset features include: action information (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), observation state (same 6 joint positions as action), image observations from two perspectives (top camera and front camera, both with 480x640 resolution and RGB three channels), timestamp, frame index, episode index, index, and task index. The dataset is intended for training or evaluating robot control models, particularly for tasks based on visual and state information.

搜集汇总

数据集介绍

构建方式

PermaBotLabo数据集基于LeRobot框架构建，旨在为机器人操作任务提供标准化的训练数据。该数据集通过so101_follower机器人采集，共计包含180个完整回合（episodes）与111,945帧时间序列数据，所有数据均经单任务模式收集并以30帧/秒的采样率记录。数据组织上采用了分块存储策略，每块容纳1000帧，并将原始数据以Parquet格式存放于`data/`目录，同时将高分辨率摄像头（640×480）捕获的顶部与前方双视角视频流，以AV1编码压缩为MP4格式视频文件，分别归档于`videos/`相应子目录中。整个数据集约占用100 MB的数值数据与200 MB的视频存储空间，并统一划分为训练集，未设置验证或测试分区。

使用方法

研究人员可通过Hugging Face平台的datasets库直接加载该数据集，或利用LeRobot工具链进行解析与预处理。加载后，模型可同时获取`action`、`observation.state`与`observation.images`等字段，其中`action`与`state`为6维关节角度向量，可直接作为策略网络的输入输出；图像数据则以动态视频帧形式存储，需解码为张量后用于视觉特征提取。推荐采用回合（episode）作为基本训练单元，结合`frame_index`与`episode_index`构建时序批处理，以保持数据流的连续性。对于复现实验或基准测试，所有180个回合均可直接用于监督学习，无需额外划分，亦可根据任务需求重新分配训练与验证比例。

背景与挑战

背景概述

PermaBotLabo数据集诞生于机器人学习领域蓬勃发展的时代背景下，由Hugging Face主导的LeRobot社区创建，旨在推动基于视觉的机器人操控技术研究。该数据集聚焦于单一操作任务（如抓取或关节运动），通过so101_follower机器人平台采集了180个演示回合，共计111,945帧图像与状态-动作序列，涵盖了6自由度关节位置信息及多视角视觉观测（顶部与前向摄像头）。作为开源资源（Apache-2.0许可），它填补了通用机器人数据集在细致动作级标注与高采样率（30 FPS）上的空白，为模仿学习与强化学习算法提供了标准化训练素材，尤其适用于研究视觉-运动协同控制中的泛化性难题。其结构化数据格式（包含Parquet文件与AV1编码视频）降低了机器人研究的数据处理门槛，可复现性强，有望成为机器人操作学习领域的重要基准之一。

当前挑战

该数据集解决的核心领域挑战在于机器人精细操控的泛化能力——当前机器人学习常受限于环境变化、视角差异与任务多样性不足等问题，PermaBotLabo通过高密度时序数据与多视角图像捕捉了关节级动作的连续动态，但单一任务（180个回合仅含1种任务）可能导致模型过拟合于特定轨迹，难以迁移至非标场景。构建过程中，挑战集中于数据采集的物理一致性（如机械臂的重复定位精度、传感器噪声抑制）与视频编码的实时性平衡（AV1压缩在节省存储的同时可能引入运动伪影）。此外，约100MB的Parquet数据与200MB视频的规模虽便于传输，却对后续数据增强与仿真环境适配提出了接口兼容性要求，且缺乏显式的任务标注元数据，增加了跨数据集联合训练时的语义对齐难度。

常用场景

经典使用场景

PermaBotLabo数据集专为机器人操作技能学习而构建，其核心应用场景在于训练基于视觉与状态信息的模仿学习与强化学习算法。该数据集记录了180个完整的操作任务回合，包含超过11万帧高保真数据，覆盖六自由度机械臂的关节角度与末端夹爪状态，并同步采集了顶部与前置两个视角的640×480分辨率视频流，为机器人从示范中学习精密操控提供了理想的训练素材。

解决学术问题

在学术研究层面，PermaBotLabo着力解决了机器人学习领域数据稀缺与标准基准匮乏的困境。它使得研究者能够在统一的任务框架下系统性地比较不同模仿学习策略的行为克隆效率，以及评估端到端神经控制策略在多模态输入融合上的表现。该数据集为探索基于视觉的机器人策略泛化性、数据效率以及时序动作生成等关键问题提供了可量化、可复现的实验平台，有力推动了操作技能学习的理论进展。

实际应用

实际应用中，基于PermaBotLabo数据集训练的策略可被部署于同构或形态相似的轻型协作机器人上，执行如精密抓取、装配、旋拧等工业流水线操作。借助其标准化记录格式与LeRobot生态系统的无缝集成，开发者能够快速将仿真中习得的控制策略迁移至实体机器人，从而降低真实场景下从零采集熟练示范数据的成本，加速机器人编程与自动化部署的落地进程。

数据集最近研究

最新研究方向

在机器人学习领域，操作技能的高效获取与泛化始终是核心挑战。PermaBotLabo数据集基于LeRobot框架构建，聚焦于单任务场景下So101型从臂的精细操作，通过180条轨迹与111945帧多模态数据（含480p双目视觉与6自由度关节状态），为模仿学习与行为克隆提供了规模化、标准化的训练素材。该资源与近期具身智能领域“从仿真到现实”的迁移热潮紧密契合——其采用的AV1视频编码与parquet存储范式，不仅降低了高维视觉-运动数据的传输瓶颈，更推动着端到端机器人操控模型在真实硬件上的快速迭代。作为开源社区首个完整记录七轴机械臂“夹爪-腕部-肩部”联合运动学链的公开数据集，它弥补了现有数据集合中双臂协同场景的稀缺性，为研究精细抓取、装配等工业级任务的多模态表征学习奠定了基石，亦为“基础模型+机器人”这一前沿范式提供了可复现的验证基准。