zeuzei/p9

该数据集由LeRobot创建，主要用于机器人领域。数据集包含10个片段，总计8970帧，涉及1个任务。数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集包含多种特征，如动作（6个自由度）、观测状态（6个自由度）、顶部和腕部图像（分辨率480x640，3通道）、时间戳、帧索引、片段索引等。数据格式为parquet和mp4。

This dataset was created by LeRobot and is primarily used in the robotics field. It contains 10 episodes, totaling 8970 frames, involving 1 task. The data file size is 100MB, the video file size is 200MB, and the frame rate is 30fps. The dataset includes various features such as actions (6 degrees of freedom), observation states (6 degrees of freedom), top and wrist images (resolution 480x640, 3 channels), timestamps, frame indices, episode indices, etc. The data formats are parquet and mp4.

搜集汇总

数据集介绍

构建方式

p9数据集依托LeRobot框架构建，旨在为机器人操控任务提供标准化的训练与评估资源。该数据集以so_follower型机器人为采集平台，记录了10个完整回合（episode）的操控数据，总帧数达8970帧，涵盖单一任务场景。数据存储采用分块（chunk）范式，将动作指令与状态观测以Parquet格式高效压缩于`data`目录下，同时将顶部与腕部摄像头采集的640x480像素视频流以AV1编码保存至`videos`文件夹，形成多模态同步记录。数据按时间顺序划分为训练集，支持端到端的模仿学习研究。

使用方法

推荐通过LeRobot库加载p9数据集，以发挥其内建的数据迭代与可视化功能。用户可通过`lerobot.datasets.LeRobotDataset`接口指定数据集路径，自动获取标准化特征字典，其中`observation.state`与`action`字段可直接用于构建运动策略的输入输出对。视频数据可通过`observation.images`键访问，结合OpenCV等工具进行帧级预处理。数据集已预先定义10个回合的全量训练划分，适合直接用于模仿学习模型的批量训练。若要可视化数据集内容，可访问HuggingFace Spaces上的交互式工具，直观审视回合序列的关节运动轨迹与视觉观测同步效果。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，模仿学习作为赋予机器人灵巧操作能力的关键范式，正日益受到学术界与工业界的广泛关注。在此背景下，由用户zeuzei创建、基于Hugging Face LeRobot框架构建的p9数据集应运而生。该数据集旨在服务于双臂机器人协同操作研究，其创建时间虽未明确标注，但依托于LeRobot这一活跃的机器人学习开源社区，展现了新一代数据驱动方法的实践探索。核心研究问题聚焦于如何通过少量示教数据（仅10个episode，共8970帧）实现高效的机器人模仿学习，并利用“so_follower”机器人平台验证算法性能。通过提供包含肩部、肘部、腕部及夹爪等多关节动作与状态信息，以及高清视觉图像（分辨率640×480，30fps）的整合数据，该数据集为迁移学习与多模态融合研究提供了宝贵资源，对推动低成本机器人操控系统的普及具有潜在影响力。

当前挑战

p9数据集所面临的首要挑战在于其样本规模的极端有限性——仅含10个成功轨迹的模仿学习数据，这直接制约了模型的泛化能力，使得从如此稀疏的示教分布中学习鲁棒策略成为亟待突破的领域瓶颈。构建过程中，数据采集需在so_follower机器人平台下精确同步6维动作信息、本体状态与多视角视觉反馈（顶部与腕部摄像头），这对传感器标定、时间戳对齐及应对操作环境中光照变化、遮挡等非平稳因素提出了严苛要求。此外，数据格式采用高效的AV1视频编码与Parquet列式存储，虽优化了存储与I/O效率（合计约300MB），但引入的编解码复杂性也为后续数据预处理与训练流程的标准化带来了额外挑战。如何在低数据量下有效融合视觉与运动信息，并规避噪声干扰，是该数据集在机器人学习应用中的核心难点。

常用场景

经典使用场景

在机器人学习领域，p9数据集凭借其高保真的遥操作数据采集特性，成为模仿学习与行为克隆研究的典范资源。该数据集包含来自so_follower机器人的10个完整操作回合，共计8970帧密集时序数据，涵盖了六自由度关节角度状态与对应动作指令。研究者可借助其提供的30FPS高帧率视觉观测（包含顶部与腕部双视角视频流），将连续状态-动作映射建模为端到端的控制策略。这一经典场景为复现从示教轨迹中提取操作技能的核心范式提供了标准化基准。

解决学术问题

p9数据集系统性地回应了机器人技能泛化中数据稀缺与状态观测冗余两大核心挑战。通过提供紧凑的6维关节空间状态与精准的动作标签，它使因果推理与策略泛化研究得以在精细操作任务上展开量化解构。数据集促进了跨实体学派的对比分析——例如动态运动基元（DMP）与最新的扩散策略（Diffusion Policy）在低样本量下的泛化边界探讨，其标准化结构实质上为可重复性研究树立了新的参照系，推动了机器人学习理论中观测-动作对齐假说的实证验证。

实际应用

在工业精密装配与医疗辅助操作等现实场景中，p9数据集所承载的双目视觉引导抓取与关节级轨迹跟踪能力直接赋能于柔性产线中的示教-复现流程。例如，基于该数据集训练的视觉-运动策略可迁移至协作机器人平台上，实现不同工件位姿下的自适应夹取。其定义的标准化数据管线与Apache-2.0许可协议更是降低了从实验室仿真到物理机器人部署的迁移成本，为中小企业构建低成本、模块化的智能体操作库提供了可落地的训练基石。

数据集最近研究

最新研究方向

p9数据集作为基于LeRobot框架构建的机器人操控演示数据集，在当前具身智能领域的前沿研究中扮演着关键角色。该数据集包含由so_follower机械臂执行的10个完整演示片段，记录了包括肩部、肘部、腕部及夹爪在内的6自由度动作轨迹与多视角视觉观测信息（顶部与腕部摄像头，分辨率480×640，30fps），为模仿学习与行为克隆算法提供了高质量的多模态训练素材。近期研究热点聚焦于利用此类小规模但结构化的演示数据，结合视觉-语言模型（VLM）和扩散策略（Diffusion Policy）等生成式架构，实现机器人在复杂操作任务中的泛化能力突破。p9数据集凭借其精细的动作空间定义与同步视频流，正被用于验证新型少样本模仿学习方法的效能，推动机器人从受控环境向非结构化真实场景的迁移，对加速通用机器人操作技能的自主习得具有重要奠基意义。