zeuzei/p18

该数据集是使用LeRobot创建的机器人领域数据集，包含10个episodes和5980帧数据，帧率为30fps。数据集结构包括动作、观察状态、顶部和手腕图像等特征，数据格式为parquet和mp4。动作和观察状态特征包含6个浮点数值，分别对应机器人的不同关节位置。图像特征包括480x640分辨率的RGB视频数据。数据集总大小为100MB（数据文件）和200MB（视频文件）。This dataset was created using LeRobot and belongs to the robotics domain. It contains 10 episodes and 5980 frames with a frame rate of 30fps. The dataset structure includes features such as actions, observation states, top and wrist images, with data formats being parquet and mp4. The action and observation state features contain 6 floating-point values corresponding to different joint positions of the robot. The image features include RGB video data with a resolution of 480x640. The total size of the dataset is 100MB (data files) and 200MB (video files).

搜集汇总

数据集介绍

构建方式

p18数据集是依托LeRobot框架构建的机器人操作数据集。数据通过遥操作方式采集，使用so_follower型机械臂，在单任务场景下录制了10个演示回合（episode），共计5980帧图像与运动状态。数据集结构遵循LeRobot标准格式，将运动序列按1000帧划分为数据块，存储为Parquet文件，同时将顶部与腕部两个视角的视频流同步压缩为AV1编码的MP4文件，并配以JSON格式的元信息文件以描述特征维度与采集参数。

特点

该数据集以高保真多模态信息为核心特色，记录了6维关节空间的动作指令与观测状态，涵盖肩部、肘部、腕部及夹爪的精确位置。同时包含480×640像素的顶部与腕部双视角彩色视频流，帧率为30 FPS，支持视觉运动耦合分析。数据规模约100 MB的关节数据与200 MB的视频文件，覆盖单任务场景下10个完整演示回合，为机器人模仿学习与行为克隆方法提供了结构规范、维度对齐的训练样本，便于模型泛化能力验证。

使用方法

数据集可直接通过HuggingFace Datasets库加载，与LeRobot工具链无缝集成。用户可调用LeRobot可视化界面逐帧回放动作序列与视频流。数据以Parquet格式存储，支持按episode或时序分批读取，可用于构建序列预测模型或模仿学习系统。推荐将600帧每回合的序列切片为短片段，用于训练机器人策略网络。所有特征名称与维度已在元信息中明确标注，可直接映射为模型输入输出张量，无需额外预处理。

背景与挑战

背景概述

p18数据集由zeuzei团队基于LeRobot框架创建，旨在服务于机器人操作领域的研究与开发。该数据集包含10个演示片段、总计5980帧的高质量动作与视觉数据，记录了SO Follower型机械臂在单一任务下的完整运动轨迹，涵盖6维关节空间的动作指令与状态反馈，以及顶部和腕部双视角的视频流（分辨率480×640，帧率30 FPS）。作为面向模仿学习与基于视觉的机器人控制社区的重要资源，p18数据集为验证算法在有限样本条件下的泛化能力提供了标准化评估平台，尤其适用于推动端到端策略学习与多模态感知融合方法的发展。

当前挑战

p18数据集旨在应对机器人模仿学习中的核心挑战：其一，机械臂的高维连续动作空间与非线性动力学特性使得策略网络难以从少量演示中提取鲁棒控制规律，现有方法常因分布外状态导致性能骤降；其二，复杂环境光照变化、物体纹理差异及自遮挡现象对视觉感知模块的稳定性提出严苛要求。在数据集构建过程中，精确同步多模态数据流（视频帧率与动作采样率均为30 Hz）需克服硬件延迟与协议差异，同时确保关节角度传感器与图像采集在毫秒级时间窗口内的对齐精度，避免时间错位引发的学习噪声。

常用场景

经典使用场景

p18数据集是面向机器人模仿学习与操作技能迁移的核心资源，其经典使用场景集中于训练机器人通过视觉观测与状态信息复现人类演示行为。该数据集依托LeRobot框架构建，包含10个完整演示片段，共计5980帧高帧率（30 FPS）数据，整合了肩部、肘部、腕部及夹爪等多关节运动状态，并辅以顶部与腕部双视角视频流。研究者可基于此类多模态数据，训练端到端的策略模型（如扩散策略或动作分块变换器），使机器人从观察图像与自身关节状态中学习精细操作策略，尤其适用于如零件装配或手部协调等需要多自由度控制的复杂任务场景。

解决学术问题

在机器人学与人工智能交叉研究中，p18数据集有效解决了从人类示教到机器人技能自动化这一核心学术难题。通过提供高保真的动作序列与同步视觉观测，该数据集为探索因果推理与控制策略泛化性提供了标准化基准。其价值尤在于探讨模仿学习中数据效率与行为鲁棒性之间的权衡关系，以及多视角信息融合对复杂操作任务性能的提升幅度。该数据的发布推动了行为克隆与逆强化学习等范式在物理机器人上的验证与应用，具有重要的方法论启迪意义。

衍生相关工作

基于p18数据集的结构与理念，衍生出一系列极具影响力的研究工作。其中，利用数据集中的动作分块与多视图视频信息，研究者开发了如动作分块变换器（ACT）与条件变分自编码器等模仿学习模型，显著提升了技能泛化能力。此外，该数据集为LeRobot生态下的策略迁移——如跨机器人形态的协同训练——提供了验证平台，相关成果已发表在机器人顶会（如CoRL、ICRA）上。同时，数据集的Apache-2.0协议也激励了社区贡献更多同类型高保真演示数据，促进了机器人学习领域基准的丰富与规范化。