zeuzei/p16

该数据集由LeRobot创建，属于机器人领域。数据集包含10个episodes，5980帧，1个任务。数据以parquet格式存储，视频以mp4格式存储。特征包括动作（6个关节位置）、观测状态（6个关节位置）、顶部和腕部摄像头图像（480x640分辨率，30fps）、时间戳、帧索引、episode索引等。数据集使用Apache 2.0许可证。

This dataset was created by LeRobot and belongs to the robotics domain. It contains 10 episodes, 5980 frames, and 1 task. The data is stored in parquet format, and videos are stored in mp4 format. Features include actions (6 joint positions), observation states (6 joint positions), top and wrist camera images (480x640 resolution, 30fps), timestamps, frame indices, episode indices, etc. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

p16数据集依托LeRobot框架构建，旨在服务于机器人操控任务的模仿学习研究。该数据集通过遥操作方式采集了单任务、多回合的机器人运动轨迹，数据集包含10个独立片段（episodes），总计5980帧数据，帧率为30 FPS。数据采集自so_follower型机器人，并按照LeRobot规范进行结构化存储：低维状态与动作数据以Parquet格式保存于data目录下，高维视觉观测数据则编码为AV1格式的视频文件，分别存储于videos/top与videos/wrist两个子目录中。所有数据按片段索引与帧索引进行组织，便于后续按时间序列进行动作与状态的对齐与提取。

特点

该数据集的一个显著特点是其多模态、高精度的观测结构。每一帧记录包含来自顶部与腕部两个视角的RGB图像（分辨率480×640），以及机器人六自由度的关节位置状态（包括肩部、肘部、腕部与夹爪），这些状态同时作为观测值与动作标签存在。数据集统一采用float32精度存储连续控制信号，并提供时间戳、帧索引与任务索引等元信息，便于时序建模与序列切片。所有数据以1000帧为一个块（chunk）进行分片，压缩后总存储量约为300 MB，兼顾了数据完整性与传输效率。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与解析。用户可调用LeRobot的数据集API，直接指定数据集路径后，将自动按片段、帧索引与特征键（如action、observation.state、observation.images.top）读取数据。数据集默认将全部10个片段划分为训练集，适用于训练模仿学习或行为克隆模型。开发者亦可借助LeRobot内置的可视化工具，在Hugging Face Spaces中预览轨迹回放与图像序列，以评估数据质量与任务执行效果。此外，Parquet格式支持直接通过Pandas或PyArrow进行低维数据的批量处理，而视频数据则可通过OpenCV或Decord库解码为张量，便于集成至PyTorch或TensorFlow的训练管线。

背景与挑战

背景概述

p16数据集由zeuzei基于LeRobot框架创建，采用Apache-2.0许可证公开发布，旨在服务于机器人学习领域中的模仿学习与遥操作研究。该数据集聚焦于单任务场景下的机器人操控，记录了SO-Follower型机器人执行特定任务时的完整动作序列与多模态感知数据，包含10个episode、总计5980帧带时间戳的高频（30fps）观测信息。通过整合顶部及腕部双视角视频流与六自由度关节状态数据，p16为验证机器人从人类示范中学习精细操控策略提供了标准化测试基准，有力推动了共享控制与行为克隆等算法的进展。

当前挑战

p16数据集所解决的领域问题在于，机器人学习常面临示范样本稀缺且分布单一导致的泛化能力不足挑战，以及多模态数据时空对齐与状态-动作映射的复杂性。构建过程中，需确保SO-Follower型机械臂的肩部、肘部等6个关节的位姿数据与双路摄像头的视觉流在30fps高频率下严格同步，同时克服多视角光照变化与机械臂自遮挡对图像质量的干扰。此外，Parquet与MP4混合存储架构的设计需兼顾存储效率与读取速度，而仅有10个episode的小规模样本集也对后续数据增强与迁移学习方法提出了更高要求。

常用场景

经典使用场景

在机器人学习与操控领域，p16数据集为模仿学习与行为克隆模型提供了理想的高质量训练素材。该数据集记录了六轴协作机器人“so_follower”在单一任务下的十次完整演示，包含关节空间的动作序列与状态信息，以及来自顶部和腕部双视角的高清视频流。研究者可借助这些多模态数据，训练机器人从视觉输入直接映射到底层动作指令的端到端策略，是研究少样本模仿学习与视觉运动策略复现的经典基准数据集。

衍生相关工作

基于p16数据集，学术界衍生出了一系列关于视觉运动策略与数据高效模仿学习的经典工作。例如，研究者利用其多视角视频与低维状态空间，开发了基于扩散模型的策略生成方法以及视觉-动作联合表示学习框架。此外，该数据集常被用作基线测试床，用于对比不同网络架构（如卷积网络与Transformer）在机器人操控任务中的表现。这些衍生研究共同推动了机器人学习领域对数据效率、泛化能力与实时推理性能的持续优化。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，p16数据集的诞生标志着细粒度操控任务数据标准化的重要突破。该数据集基于LeRobot框架构建，聚焦于so_follower型机械臂的六自由度连续动作空间，通过高精度状态记录与双视角视觉流（顶部与腕部摄像头）的同步采集，为模仿学习与强化学习算法提供了高质量的训练基准。当前前沿研究正围绕该数据集展开机器人技能泛化能力的验证，尤其是通过行为克隆与扩散策略在有限样本（10个episode）条件下的零样本迁移测试，探索从单一任务到复杂装配操作的泛化边界。其Apache-2.0开源协议与Parquet高效存储格式，显著降低了机器人数据复用的门槛，推动学术界与工业界在精密操控领域共建可复现的研究生态。