lionelveiga/pick_and_place_v2

该数据集使用LeRobot创建，用于机器人任务，具体针对so_follower机器人类型。数据集包含10个episodes，总计11817帧，涉及1个任务，数据以Parquet文件格式存储，视频文件以MP4格式存储，帧率为30fps。特征包括：动作（6个浮点型关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、观测状态（与动作相同的6个关节位置）、前摄像头图像（视频格式，分辨率480x640，3通道RGB，非深度图，无音频）、时间戳（浮点型）、帧索引（整型）、episode索引（整型）、索引（整型）和任务索引（整型）。数据集大小为100MB数据文件和200MB视频文件，分割为训练集（episodes 0到10）。

This dataset was created using LeRobot for robotics tasks, specifically for the so_follower robot type. It contains 10 episodes, totaling 11817 frames, with 1 task. Data is stored in Parquet format, and video files are in MP4 format with a frame rate of 30fps. Features include: action (6 float32 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation.state (same 6 joint positions as action), observation.images.front (video format, resolution 480x640, 3-channel RGB, not a depth map, no audio), timestamp (float32), frame_index (int64), episode_index (int64), index (int64), and task_index (int64). The dataset size is 100MB for data files and 200MB for video files, with splits for training (episodes 0 to 10).

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动智能体技能习得的关键基石。pick_and_place_v2数据集依托LeRobot框架构建，旨在为机械臂的抓取与放置操作提供标准化训练样本。该数据集通过so_follower型机器人采集，共计收录10个完整演示回合，累计11817帧时序数据，每次操作均包含6自由度关节动作指令与对应状态观测。数据以Parquet格式存储，同时配备分辨率为480×640的AV1编码视频流，以30帧/秒的速率同步记录前端视觉信息，实现了动作空间与观测空间的精准对齐。

使用方法

研究者可基于LeRobot库直接加载该数据集，通过调用预设的DataLoader即可获取对齐的动作-观测对。数据以字典形式组织，支持按批次采样与时间步索引，action与observation.state字段可直接用于模仿学习策略的监督训练。前端影像数据以视频字典类型存储，兼容主流深度学习框架的视觉编码器输入格式。此外，数据集预定义了chunks_size为1000帧的序列切分策略，便于构建变长轨迹学习任务或进行离线强化学习中的经验回放。

背景与挑战

背景概述

在机器人学习领域，灵巧操作任务的自动化始终是核心研究难题之一，其中机械臂的抓取与放置动作是工业与服务场景中最为基础且高频的行为。pick_and_place_v2数据集由Hugging Face团队基于LeRobot框架创建，旨在为机器人模仿学习提供高质量的示范数据。该数据集聚焦于单一操作任务，利用so_follower机器人平台采集了10个演示片段，共计11817帧图像与对应的6维关节状态及动作序列，涵盖了肩关节、肘关节、腕关节及夹爪的控制信息。其以30帧/秒的速率记录前视摄像头画面，为视觉-动作联合建模提供了结构化资源。作为开源社区推动标准化机器人数据集建设的成果，该数据集采用Apache-2.0许可，降低了研究门槛，对推动基于视觉的机器人操作策略泛化研究具有基础性贡献。

当前挑战

该数据集所应对的领域核心挑战在于构建稳健的视觉-运动映射策略，使机器人能从有限的示范中泛化至对象位姿、颜色及光照条件变化的真实场景，然而仅10个演示片段与单一任务设定难以覆盖复杂环境中的长尾分布。在构建层面，挑战凸显于高精度动作序列的同步采集：需维持30帧/秒的摄像头与关节编码器数据流严格对齐，避免时序偏移导致状态-动作对失配；同时单目摄像头有限的视角和480×640的分辨率在低纹理或光线反射物体上易产生视觉歧义。此外，夹爪夹持力与物体表面材质间的隐性接触动力学未被传感器捕获，使得纯粹从位置控制数据中学习抓取策略面临隐变量不完全可观测的困境。

常用场景

经典使用场景

在机器人操作领域，pick_and_place_v2数据集为模仿学习与行为克隆研究提供了高质量的基准资源。该数据集记录了SO Follower机器人在执行抓取与放置任务时的完整轨迹，涵盖6自由度关节状态、前视摄像头视觉流以及对应动作序列。研究者可直接利用这些经过标定的时序数据训练策略网络，实现从像素到关节控制指令的端到端映射。数据集包含10个完整回合与超过11000帧数据，以30FPS的稳定帧率捕捉操作动态，为学习精细抓取动作、研究轨迹泛化与多模态感知融合奠定了坚实的数据基础。

解决学术问题

该数据集的推出有效缓解了机器人学习社区中高质量专家轨迹数据匮乏的困境。学术研究中长期存在的两大痛点——动作空间维度过高与视觉-运动耦合建模困难——在此得以破解。通过提供标准化的六维动作空间与同步前视视觉观测，研究者得以聚焦于学习算法的核心创新，而非重复性的数据采集与预处理。这一数据资产使得动作策略的复现与公平比较成为可能，推动了模仿学习领域评估范式的规范化进程，并助力于探索抓取策略在非结构化环境中的鲁棒性边界。

实际应用

pick_and_place_v2数据集的构建紧密贴合工业自动化与物流拣选的实际需求。在智能制造场景中，机器臂的精准抓取与放置是物料分拣、装配线操作的核心环节。该数据集录制的单任务专有资源，可被迁移用于训练仿人机器人执行重复性拣选作业，也可作为视觉伺服控制系统的初始训练池。通过不断从该基准数据中迭代更新策略模型，机器人能够在仓储环境中自主调整抓取姿态，应对不同形状工件的搬运挑战，从而显著降低人力成本并提升产线的柔性适应能力。

数据集最近研究

最新研究方向

在具身智能与机器人学习的前沿领域，pick_and_place_v2 数据集聚焦于双臂或单臂机械臂的抓取与放置操作技能习得。随着大规模模仿学习与强化学习技术的突破，该数据集通过记录6自由度关节状态与高分辨率视觉观测，为研究精细操作中的动作序列生成、视觉-运动联合建模及闭环控制提供了标准化基准。近期研究热点集中于利用扩散策略、基于Transformer的序列预测模型来增强机器人在非结构化环境中的泛化能力，而该数据集的小样本特性（10个示范片段）推动了少样本模仿学习与数据高效策略蒸馏的探索，其公开的parquet格式与AV1视频编码亦适配现代数据流水线，有力支撑了从仿真到真实世界的技能迁移研究。