zhang311/pidataset

该数据集由LeRobot创建，专注于机器人任务，具体针对bi_so101_follower机器人类型。数据集包含150个episodes，总计64396帧，帧率为30fps。数据以parquet和mp4格式存储，包括动作特征（如左右臂的关节位置，共12个维度）和观测特征（如状态信息和多个视角的图像：左视角为480x640分辨率，顶部视角为360x640分辨率，右视角为480x640分辨率）。数据集仅包含训练分割，适用于机器人控制和学习任务。This dataset was created using LeRobot and focuses on robotics tasks, specifically for the bi_so101_follower robot type. It contains 150 episodes with a total of 64,396 frames at 30 fps. The data is stored in parquet and mp4 formats and includes action features (e.g., joint positions for both arms, with 12 dimensions) and observation features (e.g., state information and images from multiple views: left view at 480x640 resolution, top view at 360x640 resolution, and right view at 480x640 resolution). The dataset only includes a training split and is suited for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

pidataset是基于LeRobot框架构建的机器人操作数据集，旨在为双臂协作机器人提供高质量的示教数据。该数据集共包含150个演示片段（episodes），累积帧数达64,396帧，所有数据均以parquet格式高效存储，并辅以H.264编码的视频文件。数据采集过程中，机器人类型为bi_so101_follower，通过高频率（30 FPS）记录双臂各关节的位置信息以及多视角视觉观测，包括左侧、右侧及顶部摄像头图像，从而全面捕捉操作环境的动态变化。

特点

pidataset的核心特点在于其精细的动作与状态表征，每个演示片段同时记录12维动作指令和对应的12维观测状态，覆盖双臂的肩部、肘部、腕部及夹爪等关键关节。视觉观测采用三路摄像头（左、右、顶）同步录制，其中左右摄像头分辨率为480×640，顶部为360×640，为模仿学习提供丰富的多模态输入。此外，数据集还包含时间戳、帧索引和任务索引等元数据，便于序列化建模和任务划分，且所有150个片段均用于训练，无需额外分割。

使用方法

使用pidataset时，推荐利用LeRobot框架直接加载parquet数据文件和视频文件。用户可依据info.json中定义的路径规则（data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet）进行批量读取，或通过HuggingFace Datasets库的load_dataset方法快速整合。数据集的12维动作空间可映射至双臂机器人控制接口，而图像数据则可用于视觉策略的端到端训练。为便于复现，数据集已预设分块大小为1000帧，并提供了完整的元数据结构，开发者可据此构建时序预测模型或对比学习基线。

背景与挑战

背景概述

pidataset是一个面向机器人操作学习领域的数据集，由Hugging Face社区基于LeRobot框架创建，旨在为双臂机器人（具体型号为bi_so101_follower）的行为克隆与模仿学习提供标准化训练资源。该数据集构建于2024年左右，共收录150个演示轨迹（episodes），包含超过6.4万帧时序数据，每条轨迹均以30 FPS的帧率记录了左右各六自由度机械臂关节角度（共12维动作空间）及三视角（左、右、顶）高清视频流。其核心研究问题聚焦于如何通过多模态观测（状态向量与视觉输入）高效学习复杂双臂协同操作策略，推动仿人机器人灵巧操作能力的进步。作为LeRobot生态中的公开基准，pidataset为机器人学习研究提供了低成本、高复现性的数据基础，加速了从仿真到真实世界迁移的算法验证进程。

当前挑战

该数据集所应对的领域挑战在于双臂机器人的精细操作任务中，高维动作空间与视觉-运动耦合的强非线性关系使得传统控制方法难以泛化，急需大规模、多模态的示范数据来驱动端到端的模仿学习算法。构建过程中的技术挑战则体现在：首先需保证不同演示间机器人初始位姿与任务目标的一致性，以降低数据噪声；其次，多视角视频（左、右、顶）的同步采集与高精度关节状态记录对硬件同步系统提出了严苛要求；此外，150个轨迹的规模虽可满足小样本学习探索，但如何平衡数据多样性与采集成本仍是制约机器人数据集规模化构建的瓶颈。

常用场景

经典使用场景

在机器人学习领域，pidataset作为一款采用LeRobot框架构建的双臂精细操作数据集，其经典场景聚焦于模仿学习与行为克隆的研究。该数据集包含了150个回合、超过六万帧的双臂协调运动数据，涵盖左臂与右臂的肩、肘、腕及夹爪的12维关节空间状态，并配备左、右、顶部三视角的640×480高清视频流，为机器人从人类演示中学习复杂操作技能提供了高质量的端到端训练素材。研究者通常利用该数据集训练基于视觉的运动策略，使机器人能够通过观察图像序列和本体感知状态，精准复现诸如抓取、装配等需要双臂协同的精细动作。

解决学术问题

该数据集针对机器人领域中“从演示中学习（LfD）”方法面临的样本效率低下与多模态感知融合难题，提供了标准化解决方案。通过提供时间对齐的关节动作指令、本体状态与多视角视觉观测，pidataset有效支撑了因果推理、时序建模及跨模态表征学习的探索。学术界利用它研究如何减少数据需求量并提升策略泛化能力，进一步推动了双臂机器人操作任务的可复现性研究。其开源许可和标准化结构也为评估不同模仿学习算法的优劣建立了公平的基线参考，显著促进了机器人操作技能习得理论的深化。

衍生相关工作

围绕pidataset已衍生出一系列创新工作，涉及将扩散策略（Diffusion Policy）应用于双臂行为克隆，以及基于Transformer的隐变量序列建模。相关研究优化了数据增强手段，如通过视角合成或关节扰动提升策略鲁棒性；同时探索了元学习框架以适应新任务场景。部分工作进一步扩展了该数据集的使用边界，引入大型语言模型作为高层任务规划器，结合pidataset的低层控制数据形成分层决策系统，显著提升了机器人面对未知目标时的自主决策和操作灵活性，为未来通用操作智能体的构建奠定了坚实的数据基础。