saipuneethgottam/pickplace_136cam_newdemos_20260526_161032_remapped

该数据集是一个用于机器人拾放任务的数据集，由LeRobot工具创建。数据集包含100个训练episode，总计53178帧数据，帧率为30fps。数据采集自三个摄像头（camera1、camera2和camera3），分别提供1280x720和640x480分辨率的RGB视频流。数据集中包含机器人的状态观测（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）以及对应的动作指令。机器人类型为so_follower。数据集以parquet格式存储，视频采用av1编码，总数据量约为300MB（其中数据文件100MB，视频文件200MB）。数据集仅包含训练集，用于机器人模仿学习或强化学习任务。This dataset is a robotics dataset for pick-and-place tasks, created using the LeRobot tool. It contains 100 training episodes with a total of 53,178 frames at 30 fps. Data is collected from three cameras (camera1, camera2, and camera3) providing RGB video streams at resolutions of 1280x720 and 640x480. The dataset includes robot state observations (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper) and corresponding action commands. The robot type is so_follower. The dataset is stored in parquet format with videos encoded in av1, totaling approximately 300MB (100MB for data files and 200MB for video files). It includes only a training split and is intended for robot imitation learning or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托HuggingFace LeRobot框架构建，以SO-Follower机械臂为采集平台，通过遥操作方式在仿真或真实环境中执行抓取放置任务，系统同步记录六自由度关节位置、夹爪开合状态以及三路摄像头视频流，最终以Parquet列式存储格式按块归档，并配套提供包含完整元信息的info.json文件，形成结构化的机器人操作轨迹数据集。

特点

数据集包含100条演示轨迹，累计53178帧，采样频率为30帧每秒，动作与状态空间均为六维关节位置向量，涵盖肩部旋转、抬升、肘部弯曲、腕部俯仰与旋转及夹爪开度，三路摄像头分别以1280×720与640×480分辨率采集视觉观测，视频编码采用AV1以兼顾压缩率与解码效率，整体划分为训练集单一切分，任务标签唯一，机器人型号为so_follower。

使用方法

使用者可借助LeRobot官方工具链直接加载数据集，通过解析data目录下的Parquet文件获取动作、状态及时间戳等结构化数据，同时读取videos目录中对应视频文件提取多视角视觉观测，结合meta/info.json中的特征定义与路径模板完成数据索引，亦可利用HuggingFace Spaces提供的可视化界面在线浏览轨迹分布，进而开展模仿学习、策略训练或行为克隆等机器人操作研究。

背景与挑战

背景概述

机器人操作策略学习长期受制于真实示教数据的稀缺与异构，PickPlace任务作为经典操作范式，涵盖抓取、移动与放置等核心技能，是检验学习算法泛化能力的重要基准。该数据集由LeRobot框架构建，属社区贡献的机器人学习资源，于2026年发布，采用Apache-2.0许可。数据集采集自so_follower机械臂平台，包含100个演示回合、53178帧、单一拾放任务，配备三路视觉观测与六维关节位置及动作标注，为视觉-动作联合建模提供了多视角真实操作数据，对推动模仿学习与具身智能研究具有基础性支撑价值。

当前挑战

该数据集所解决的领域问题为真实环境下的机器人视觉引导拾放操作，其挑战在于多视角视觉信息与本体感觉状态的高维耦合，要求策略模型在复杂光照、物体位姿变化及机械臂运动学约束下实现精确动作映射。构建过程中面临示教数据一致性保障的难题，包括遥操作或人工演示引入的时序抖动、动作噪声与视野遮挡，以及多相机同步与视频编码带来的存储与对齐开销。此外，单一任务与有限演示回合限制了策略的泛化边界，跨场景迁移与长时程操作仍构成显著挑战。

常用场景

经典使用场景

在机器人模仿学习与操作策略研究的领域中，该数据集构筑了以抓取放置任务为核心的多视角视觉-动作序列基准。其经典使用场景聚焦于基于示教的操作策略学习，研究者借助三路摄像头（两路1280×720与一路640×480分辨率，30帧每秒）同步采集的视觉流，结合六自由度机械臂的关节位置与夹爪状态，构建端到端的视觉运动策略。每一回合均以时间戳、帧索引与任务索引精细标注，总计100个回合与53178帧的规模为策略网络提供了充分的时序监督信号，使模型能够在多样化的视角下学习空间感知与动作映射之间的对应关系。

解决学术问题

该数据集直击机器人操作学习中演示数据稀缺、视角单一与状态-动作对齐困难等核心学术难题。通过提供高频率、多视角且状态-动作严格同步的示范轨迹，它缓解了模仿学习中因观测维度不足而导致的泛化瓶颈，并为离线强化学习与行为克隆算法提供了标准化的验证平台。其意义在于，以统一的LeRobot数据规范降低了不同实验室间数据复用的门槛，推动了操作策略在视觉表征、时序建模与跨视角迁移等方向的可复现研究，进而为通用机器人操作模型的训练与评估奠定了数据基础。

衍生相关工作

围绕该数据集，衍生工作主要集中于基于LeRobot框架的策略学习与数据集可视化分析。研究者利用其提供的可视化工具对回合进行回放与质量筛查，并在此基础上开展行为克隆、扩散策略与视觉-语言-动作模型的对比实验。该数据集亦常被用于验证多视角融合模块与时序Transformer架构在操作任务中的有效性，进而催生出一系列关于数据增强、视角重映射与跨本体迁移的后续研究，逐步形成以标准化操作数据为纽带的方法论生态。