zeuzei/p14

该数据集是使用LeRobot创建的机器人数据集，主要包含机器人动作、状态观察和图像观察数据。数据集结构包括：动作数据（6个关节位置）、状态观察（6个关节位置）、顶部和手腕视角的图像观察（480x640分辨率，30fps）、时间戳、帧索引、情节索引等。数据以parquet格式存储，视频以mp4格式存储。数据集总共有10个情节，5980帧，30fps，机器人类型为so_follower。

This dataset is a robotics dataset created using LeRobot, primarily containing robot actions, state observations, and image observations. The dataset structure includes: action data (6 joint positions), state observations (6 joint positions), image observations from top and wrist views (480x640 resolution, 30fps), timestamps, frame indices, episode indices, etc. Data is stored in parquet format, and videos are stored in mp4 format. The dataset contains a total of 10 episodes, 5980 frames at 30fps, with the robot type being so_follower.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建而成，专为机器人学习领域设计。数据采集自so_follower类型的机器人平台，共收录10个完整回合（episodes），累计5980帧数据，总帧率设定为30帧/秒。数据集采用分块存储策略，以parquet格式保存结构化数据，同时将多视角视频流（顶部摄像头与腕部摄像头）以AV1编码压缩为MP4格式存储。采集内容包括6维关节动作指令（action）与对应的观测状态（observation.state），两者均涵盖肩部、肘部、腕部及夹爪的位姿信息，精准刻画了机器人操作过程中的动态变化。

特点

该数据集核心特色在于多模态记录机制，不仅保留了精确的浮点型动作序列与状态向量，还同步储存了分辨率为480×640的顶部与腕部双路视觉影像，为模仿学习研究提供了丰富的感知信息。数据时间戳与帧索引的完整标注，使得时序对齐分析成为可能。此外，所有训练数据集中在单一任务下，虽规模有限（共计100MB数据文件与200MB视频文件），却具备结构标准化、可复现性强的优点，特别适用于机器人操控策略的初步验证与算法原型开发。

使用方法

用户可通过LeRobot框架的API便捷地加载与解析此数据集。默认配置下，所有10个回合均划分为训练集，无需额外分割。利用Hugging Face提供的可视化接口（Visualize this dataset）可在线预览视频与状态信息。在本地开发中，推荐使用lerobot.datasets模块中的接口直接读取parquet与视频文件，快速构建数据迭代器。由于数据特征包含明确的动作、状态及图像字段，用户可灵活设计离线模仿学习或因果模型训练管线，但需注意数据量较小，建议作为小规模预研或调试用途，后续可结合其他数据集进行扩展训练。

背景与挑战

背景概述

p14数据集由研究团队通过LeRobot框架构建于近期旨在推动机器人操作技能的学习与泛化。该数据集采用so_follower型机器人平台，记录了10个演示片段，包含5980帧高频率（30fps）的机器人关节状态与视觉观测数据，覆盖单任务场景下的6维动作空间。作为开源数据资源，其Apache-2.0许可协议促进了机器人学习领域的协作与复用，尤其为模仿学习、行为克隆等算法提供了标准化的训练与评估基础，对验证机器人从示范中自主习得操作策略的研究具有重要支撑作用。

当前挑战

p14数据集领域核心挑战在于解决机器人操作技能的高效泛化难题：当前单任务、小样本（10个片段）的配置难以覆盖复杂多变的环境与目标，导致学习所得策略在未观测场景中的鲁棒性不足。构建过程中，数据采集受硬件精度、遥操作示教一致性以及多模态数据（关节角度与双视角视频）同步对齐的严苛约束，同时需应对演示质量差异与低延迟实时处理的工程挑战，以保障数据集有效服务于下游的机器人学习研究。

常用场景

经典使用场景

在机器人学习与操控领域，p14数据集为模仿学习与行为克隆研究提供了宝贵的训练资源。该数据集收录了由so_follower机器人执行单一任务时采集的10个完整演示回合，共计5980帧数据，涵盖6维关节空间的精确动作轨迹与状态信息。配合30帧每秒的高清视觉输入（包含顶部与腕部双视角影像），研究人员可借助此数据集构建端到端的策略网络，例如训练一个卷积神经网络将视觉观测直接映射至关节控制指令，从而复现机器人对特定任务的精细操纵能力。

解决学术问题

p14数据集致力于解决机器人技能学习中数据稀缺与泛化性不足的核心难题。通过提供标准化的动作、状态与多视角图像序列，它使学术研究者能够系统性地评估行为克隆、逆强化学习以及基于模型的强化学习等算法在真实物理环境中的表现。该数据集的出现填补了精细操控任务（如抓取与装配）中高质量演示数据集的空白，为验证算法在噪声与动态变化下的鲁棒性提供了基准，进而推动了从简单轨迹模仿到复杂决策泛化的学术演进。

衍生相关工作

依托p14数据集，衍生出一系列推动机器人学习边界的前沿工作。经典成果包括利用该数据训练扩散策略以生成平滑且鲁棒的动作序列，以及结合视觉语言模型实现跨任务的零样本迁移研究。此外，该数据集促进了多视角融合网络和隐式行为克隆框架的发展，为处理高维观测下的动作不确定性提供了新范式。这些工作不仅深化了从专家演示中提取操控知识的方法论，也为后续大规模机器人数据集的设计与算法评估设立了标杆。