ant0nh/pnp_toy_tray

该数据集是一个机器人控制数据集，使用LeRobot工具创建。数据来源于so_follower机器人，包含25个训练episodes，总计18660帧，帧率为30fps。数据集特征包括：6维关节位置动作（肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置）；6维状态观测（与动作相同的关节位置）；手腕摄像头视频（480x640分辨率，3通道，30fps）；前置摄像头视频（规格与手腕摄像头相同）；以及时间戳、帧索引、episode索引、任务索引等元数据。数据以parquet格式存储，视频以mp4格式存储，总数据大小约300MB（数据100MB，视频200MB）。数据集适用于机器人学习任务，如模仿学习或强化学习。This dataset is a robotics control dataset created using the LeRobot tool. It contains data from a so_follower robot, with 25 training episodes, totaling 18,660 frames at 30 fps. Features include: 6-dimensional joint position actions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position); 6-dimensional state observations (same joint positions as actions); wrist camera video (480x640 resolution, 3 channels, 30 fps); front camera video (same specifications as wrist camera); and metadata such as timestamp, frame index, episode index, and task index. Data is stored in parquet format, videos in mp4 format, with a total size of approximately 300 MB (100 MB for data, 200 MB for videos). The dataset is suitable for robotics learning tasks, such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的真实世界操作数据集是训练具身智能策略的关键基础。pnp_toy_tray数据集依托LeRobot框架构建，通过遥操作或预设策略控制so_follower型机械臂执行拾取放置任务，将玩具物件规整地放入托盘中。数据采集过程中，系统以30帧每秒的频率同步记录机械臂的六维关节位置（肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合）与动作指令，并从腕部与前方双视角采集480×640分辨率的视频流。全部25个回合共18660帧，经编码后以Parquet格式存储，形成结构化的多模态数据。

特点

该数据集的核心特征在于多模态同步与视觉-动作对齐。其六维状态与动作向量完整表征了机械臂的关节空间运动，而双路视频流则提供了腕部第一人称与前方第三人称的互补视角，有助于学习鲁棒的空间表征。数据集采用AV1编解码器压缩视频，在保证画质的同时降低存储开销。其结构遵循LeRobot v3.0规范，元信息中明确了各个字段的名称、形状与数据类型，并划分了训练集。单一任务设定与固定机械臂型号使数据分布较为一致，适合作为模仿学习或离线强化学习的基准测试平台。

使用方法

使用该数据集时，可借助LeRobot代码库直接加载，通过解析meta/info.json获取特征定义，并从data/目录读取Parquet文件与videos/目录读取对应视频。数据可按照episode_index和frame_index进行索引，进而构建状态-动作序列或视频-动作对，用于训练行为克隆、视觉运动策略等模型。Hugging Face Spaces提供了可视化工具，便于快速浏览与验证数据质量。加载后，用户可依据timestamp同步多模态信号，按需划分训练与验证集，亦可结合其他LeRobot数据集进行联合训练，以提升策略的泛化能力。

背景与挑战

背景概述

机器人操作技能的学习与泛化长期依赖高质量演示数据，以弥合仿真到现实的鸿沟。pnp_toy_tray数据集由LeRobot框架于2026年构建，聚焦于机械臂在玩具托盘场景中的抓取与放置任务，包含25个演示回合、18660帧及双视角视频，依托so_follower机器人平台，为视觉-运动策略学习提供了标准化基准。其核心研究问题在于利用有限演示数据实现精准的物体操控，通过开源许可推动可复现研究，对机器人模仿学习与具身智能领域具有实证支撑价值，尽管论文与引用信息尚待补充，但其结构化元数据已为数据驱动方法奠定了坚实基础。

当前挑战

该数据集所解决的领域问题是视觉引导的机械臂抓取与放置，其挑战体现在：一、物体外观、光照与摆放位姿的多样性导致视觉感知歧义；二、有限演示（仅25回合）下策略易过拟合，泛化至新场景困难；三、6自由度动作与视觉观测的高维耦合对模仿学习算法的样本效率提出苛刻要求。构建层面，需确保演示数据的时间对齐与动作平滑，视频编码采用av1以平衡质量与存储，双摄像头同步采集及帧率一致性亦需精细校准，同时任务单一且成功标准未明，增加了数据标注与质量评估的复杂度。

常用场景

经典使用场景

在机器人模仿学习与具身智能研究领域，抓取与放置任务始终是检验策略泛化能力的试金石。pnp_toy_tray数据集以SO系列机械臂为平台，完整记录了25条演示轨迹、逾一万八千帧的同步观测与控制信号，涵盖腕部与前置双视角视觉流以及六自由度关节位置指令。研究者依托LeRobot框架，可直接调用该数据集开展行为克隆、视觉-动作联合建模与端到端策略训练，其经典用途在于为抓取玩具并放入托盘的精细操作提供高保真、多模态的示范数据基础。

实际应用

在工业分拣、家庭服务与仓储物流等实际场景中，机械臂需完成目标识别、抓取规划与精准放置的连贯操作。该数据集所涵盖的抓取放置流程与真实产线中的物料搬运任务高度契合，可为机械臂技能学习提供贴近实际的训练素材。工程人员借助此数据可快速验证抓取策略在真实硬件上的可行性，缩短从算法原型到部署落地的周期，尤其适用于小样本条件下的快速任务适配与技能迁移。

衍生相关工作

基于该数据集，研究者已衍生出多项与视觉-语言-动作模型、扩散策略及模仿学习基准相关的工作。这些工作或以该数据为训练集验证新型策略架构的收敛性能，或将其作为对比实验中的标准任务之一，用以衡量不同算法在抓取放置场景中的泛化边界。其开源属性亦促进了社区内数据格式与评测协议的标准化，为后续多任务、多平台数据集的建设提供了可借鉴的范本。