av120/panda-pick-place-lerobot-11-55-07_29-05-2026

Franka Panda拾取放置数据集 — LeRobot v3版本，是一个视觉运动行为克隆数据集，在MuJoCo模拟环境中使用模拟的Franka Emika Panda机械臂收集。数据以LeRobot v3格式（Parquet文件加MP4视频分片）记录。任务涉及拾取立方体并将其放置到侧边约30厘米处，使用脚本化的逆运动学状态机演示器执行；每个episode中盒子位置在X轴±5厘米和Y轴±8厘米范围内随机化。数据集包含500个episodes，总计196,500帧，记录频率为20 Hz，控制频率为100 Hz，episode长度约为350-400帧（17-20秒）。特征包括基础观测图像（480x640x3视频）、状态观测（8维浮点数）、动作（8维浮点数）、时间戳、帧索引、episode索引、索引和任务索引。收集细节涉及MuJoCo模拟器、Franka Emika Panda机器人（7自由度加夹爪），并使用了ACT（Action Chunking with Transformers）策略进行训练。Visuomotor behavior-cloning dataset collected in MuJoCo with a simulated Franka Emika Panda arm. Recorded in LeRobot v3 format (Parquet + MP4 shards). The task involves picking up a cube and placing it approximately 30 cm to the side using a scripted IK state-machine demonstrator, with box position randomized ±5 cm (X) and ±8 cm (Y) each episode. The dataset consists of 500 episodes, totaling 196,500 frames, recorded at 20 Hz with a control frequency of 100 Hz, and episode length is around 350–400 frames (~17–20 seconds). Features include observation images (480x640x3 video), state observation (8-dimensional float32), action (8-dimensional float32), timestamp, frame index, episode index, index, and task index. Collection details cover the MuJoCo simulator, Franka Emika Panda robot (7-DOF plus gripper), and training with ACT (Action Chunking with Transformers) policy.

搜集汇总

数据集介绍

构建方式

该数据集基于MuJoCo仿真环境，利用Franka Emika Panda机械臂的七自由度与夹爪系统，通过脚本化的逆运动学状态机演示器自动采集。每次任务中，机械臂需将立方体拾取并放置至约30厘米外的指定区域，立方体的初始位置在X轴方向随机浮动±5厘米，Y轴方向随机浮动±8厘米。数据采集以100 Hz的控制频率运行，物理引擎以500 Hz的子步进进行模拟，每五个控制步记录一帧观测数据，最终获得20 Hz的录制频率。数据集共包含500个任务片段及196,500帧信息。

特点

该数据集采用LeRobot v3格式存储，以Parquet与MP4分片组织数据，兼具高效的结构化与视觉信息。每个时间步提供8维关节状态与8维动作向量，并配备480×640像素的RGB图像观测，共含七项特征键。任务时序链设计精细，物理时间步长为0.002秒，确保动力学仿真精度。数据统计显示，每个片段持续约17至20秒，包含350至400帧，且已基于ACT（带变换器的动作分块）策略完成策略训练验证。

使用方法

数据集可通过LeRobot库的LeRobotDataset类直接加载，调用代码为`ds = LeRobotDataset("av120/panda-pick-place-lerobot-11-55-07_29-05-2026")`。加载后的数据集适用于行为克隆与模仿学习范式，支持提取状态-动作对用于策略优化，如ACT等序列化动作预测模型。用户可根据task_index区分不同目标，结合frame_index与episode_index进行时序切片或片段级采样，并利用MP4视频数据开展视觉-运动联合建模，适用于机器人操作任务的迁移学习与离线强化学习。

背景与挑战

背景概述

该数据集由研究机构在2026年创建，聚焦于机器人操作领域的核心问题——基于模仿学习的抓取与放置任务。利用MuJoCo仿真环境中的Franka Emika Panda机械臂，通过脚本化逆运动学状态机演示器收集了500个示范轨迹，共计196,500帧视觉与状态数据。数据集在LeRobot v3格式下以Parquet与MP4分片存储，为行为克隆和模仿学习研究提供了标准化基准。其通过随机化目标箱位置（X方向±5 cm，Y方向±8 cm）增强任务泛化性，已成功应用于ACT（动作分块变换器）策略训练，对推动具身智能中少样本模仿学习的发展具有重要参考价值。

当前挑战

该数据集面临的核心挑战包括：领域问题层面，抓取与放置任务需在连续动作空间与高维视觉观测中实现精确的物体重定位，机械臂需应对每次试验中目标位置的随机扰动（最大±8 cm），对策略的鲁棒性与泛化能力要求极高；构建层面，数据集通过仿真环境采集，存在仿真与真实世界的物理特性差异（如摩擦力、关节动力学），可能引入sim-to-real域间隙；同时，以20 Hz低频记录导致高频动态细节丢失，且500个示范相对有限，难以覆盖物体姿态与场景光照的极端变化，限制了复杂任务中的零样本迁移。

常用场景

经典使用场景

该数据集专为机器人模仿学习及行为克隆研究而设计，核心任务是通过记录Franka Panda机械臂在MuJoCo仿真环境中执行抓取与放置操作的全部轨迹，为 visuomotor 策略提供训练样本。经典使用场景包括训练基于Transformer的动作分块（ACT）模型，使其能够从高维视觉观测（640×480 RGB图像）与低维状态向量（8维）中学习端到端的控制策略，从而复现从抓取到平移放置的完整操作流程。

实际应用

实际应用层面，该数据集为工业与家庭服务机器人的技能习得提供了低门槛的仿真训练入口。借助其高保真的MuJoCo物理仿真与20 Hz录制的密集状态-动作对，开发者能够在虚拟环境中快速验证抓取放置策略的可行性，再将经过充分训练的模型迁移至真实Franka Panda机械臂上。这种从仿真到现实的流程革新，显著降低了对真实机器人硬件与昂贵人工示教的依赖，加速了自动分拣、物料搬运等场景的机器人部署周期。

衍生相关工作

该数据集衍生出多个经典研究工作，其中最为突出的是基于其训练框架的注意力机制行为克隆方案。以ACT（Action Chunking with Transformers）为代表的工作，首次将时间动作分块与Transformer架构相结合，在panda-pick-place数据上验证了长时域轨迹预测的有效性，进而推动了后续诸如扩散策略（Diffusion Policy）和隐式行为克隆（Implicit Behavior Cloning）等更高效的模仿学习方法的发展。这些工作不仅提升了抓取放置的精度与平滑度，还共同构建了机器人技能学习从数据采集到策略优化的完整研究范式。