zeuzei/p20

该数据集由LeRobot创建，属于机器人领域。数据集包含10个片段，5980帧，1个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包含动作、观测状态、图像（顶部和腕部视角）、时间戳、帧索引、片段索引、索引和任务索引等特征。动作和观测状态特征包括肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹持器的位置信息。图像特征包括高度、宽度和通道数信息，视频高度为480像素，宽度为640像素，使用av1编解码器，像素格式为yuv420p，无音频。数据集使用Apache 2.0许可证。

This dataset was created by LeRobot and belongs to the robotics field. The dataset contains 10 episodes, 5980 frames, 1 task, with data files size of 100MB and video files size of 200MB, at 30fps. The dataset structure includes features such as action, observation state, images (top and wrist views), timestamp, frame index, episode index, index, and task index. The action and observation state features include positions of shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper. The image features include height, width, and channels information, with video height of 480 pixels, width of 640 pixels, using av1 codec, pixel format yuv420p, and no audio. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，采用so_follower机器人平台进行数据采集。数据集包含10个完整episode，总计5980帧时序数据，涵盖单一操作任务。数据以parquet格式存储结构化信息，影像数据则采用AV1编码的MP4视频格式，分辨率统一为640×480像素，帧率设定为30FPS。其存储架构将元数据与视频文件分离，分别存放于'data'与'videos'目录下，并通过chunk机制将数据分块管理，便于高效加载与索引。

特点

该数据集具有高结构化与多模态融合的特性。其动作空间与观测状态空间维度一致，均包含6个关节自由度，包括肩部、肘部、腕部及夹爪的位姿控制。视觉观测由顶部与手腕双摄像头提供，形成多视角感知通道。此外，数据集完整记录了时间戳、帧索引、episode索引等辅助信息，确保时序连续性。整个数据集经Apache-2.0许可开放，标准化程度高，适用于模仿学习、机器人操作策略研究等场景。

使用方法

用户可借助LeRobot库直接加载该数据集进行分析。推荐通过HuggingFace提供的可视化工具进行数据预览，快速理解数据分布。在模型训练中，可将action字段作为控制策略的监督信号，结合observation.state与observation.images作为输入，构建端到端学习管线。数据集预定义的训练集包含全部10个episode，可直接用于策略优化。数据读取时需注意parquet与视频文件的路径对应关系，并利用chunk索引实现流式加载。

背景与挑战

背景概述

p20数据集是机器人学领域中的一个精细化数据集合，由个人开发者或小型研究团队基于LeRobot框架创建，核心目标在于为仿人机器人操作提供高质量的运动控制训练数据。该数据集于近年来开源，收录了10个完整操作片段、总计约5980帧的序列数据，囊括了从肩部到夹爪的6自由度运动状态与对应的顶层与腕部视觉影像。其构建旨在弥合仿真控制算法与真实机械臂部署之间的差距，通过提供标准化的动作-状态-视觉联合记录，推动模仿学习与强化学习在灵巧操作任务中的方法验证与迁移。尽管规模有限，p20作为开放资源，已对机器人操作社区的数据共享与算法复现产生了积极影响，鼓励更多研究人员关注精细动作控制中的多模态数据融合。

当前挑战

数据集所面对的领域挑战集中于如何高效学习并泛化机械臂的精细操作技能。现有机器人数据集常受制于动作复杂性与环境多样性，而p20虽然提供了高帧率的视觉与状态对齐数据，但仅包含单一任务且样本有限（10个片段），易使模型陷入过拟合，难以适应新的物体或场景变化。构建过程中，数据采集受限于硬件标定精度与操作重复性，要求每次任务执行保持一致的动力学响应与光照条件，这增加了对采集环境的严格控制成本。此外，多模态数据同步（视频与状态序列的时序对齐）以及从原始操作到标准化数据格式的转化（如Parquet存储、AV1视频编码），均构成了技术实现的显著挑战。

常用场景

经典使用场景

在机器人学习领域，p20数据集凭借其精细的遥操作采集架构，成为模仿学习与行为克隆研究的理想基石。该数据集记录了so_follower机械臂在单一任务下的十次完整执行轨迹，包含5980帧的高频状态-动作对，并由顶部和腕部双视角的高清视频提供丰富的视觉模态。研究者可借此训练端到端的策略网络，将视觉观测直接映射为六维关节空间的控制指令，从而复现复杂的操作技能。

解决学术问题

p20数据集有效回应了机器人策略泛化中的小样本学习挑战，其十次高质量演示为从有限示范中抽取稳健运动先验提供了实验平台。数据集中同时包含关节位置向量与多视角图像流，使得状态估计与观测遮蔽下的策略鲁棒性研究成为可能。此外，附带的时间戳和帧索引结构便于开展时序建模工作，推动了对非马尔可夫决策过程的探索，进而提升长程操作任务的预测精度。

衍生相关工作

p20数据集作为LeRobot生态的组成部分，催生了一系列关于数据高效策略蒸馏与跨平台迁移的后续研究。围绕该数据，学术界提出了基于扩散策略的轨迹生成方法，利用其提供的连续动作序列学习平滑的运动先验。也有工作在此基础上引入对比学习框架，从多视角视频中解耦机器人与环境的交互表征，推动了零样本迁移到不同构型机械臂的研究进展，彰显了小规模高质量演示数据在机器人学习范式中的引领价值。