av120/panda-pick-place-lerobot-18-45-03_27-05-2026

该数据集是一个在MuJoCo仿真环境中收集的视觉运动行为克隆数据集，使用模拟的Franka Emika Panda机械臂。数据以LeRobot v3格式（Parquet + MP4分片）记录。任务涉及拾取一个立方体并将其放置在侧方约30厘米处，使用脚本化的逆运动学状态机演示器，立方体位置在每个episode中在X方向±5厘米和Y方向±8厘米范围内随机化。数据集包含487个总episode、190,922个总帧，记录帧率为20 Hz，特征包括前置和腕部观测图像、状态、动作、时间戳等。收集细节显示模拟器为MuJoCo，机器人是Franka Emika Panda（7自由度+夹爪），控制频率为100 Hz，记录频率为20 Hz，每个episode长度约为350-400帧（约17-20秒），训练策略为ACT（Action Chunking with Transformers）。Visuomotor behavior-cloning dataset collected in MuJoCo with a simulated Franka Emika Panda arm. Recorded in LeRobot v3 format (Parquet + MP4 shards). The task involves picking up a cube and placing it ~30 cm to the side using a scripted IK state-machine demonstrator, with box position randomized ±5 cm (X) and ±8 cm (Y) each episode. The dataset includes 487 total episodes, 190,922 total frames, recording FPS of 20 Hz, and features such as front and wrist observation images, state, action, timestamp, etc. Collection details indicate the simulator is MuJoCo, robot is Franka Emika Panda (7-DOF + gripper), control frequency is 100 Hz, recording frequency is 20 Hz, episode length is ~350–400 frames (~17–20 s), and policy trained is ACT (Action Chunking with Transformers).

搜集汇总

数据集介绍

构建方式

本数据集基于MuJoCo物理仿真环境，借助Franka Emika Panda七自由度机械臂（含夹爪）的脚本化逆运动学状态机演示器，自动化采集了487条专家演示轨迹，涵盖机械臂抓取立方体并将其平移约30厘米至侧方位的操作任务。每条轨迹中，立方体的初始位置在X轴与Y轴方向分别随机扰动±5厘米和±8厘米，以增强数据的多样性。数据以LeRobot v3标准格式存储，采用Parquet文件与MP4视频分片（Shards）相结合的方式组织，每条分片包含1000个episode的元数据与视频流。

特点

该数据集的核心特点体现在其精细化的时间链设计与多模态观测信息上。物理仿真步长设为0.002秒，每5个仿真步执行一次控制指令（100 Hz），并每隔5个控制步记录一次观测（20 Hz），确保动作控制与状态采集的同步精度。数据特征包含前视与腕部两个视角的640×480 RGB视频、8维机械臂状态向量（关节角度与夹爪开度）以及8维动作向量，全面覆盖视觉与本体感知信息。总帧数达190,922帧，每段episode时长约17–20秒，并已预先基于ACT（Action Chunking with Transformers）策略完成行为克隆训练验证。

使用方法

用户可通过LeRobot库便捷调用该数据集，仅需一行Python代码即可加载：from lerobot.datasets import LeRobotDataset; ds = LeRobotDataset("av120/panda-pick-place-lerobot-18-45-03_27-05-2026")。加载后的数据集可直接用于行为克隆与模仿学习任务的训练流水线，支持通过索引访问每条轨迹的状态、动作、时间戳及图像帧。得益于标准的LeRobot v3格式，该数据集可与LeRobot框架内的大多数策略模型（如ACT、Diffusion Policy）无缝集成，简化从数据加载到模型评估的全流程实现。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过专家示范数据驱动策略学习，已成为解决复杂操作任务的关键范式。该数据集由研究团队于2026年5月27日创建，基于MuJoCo仿真环境，利用Franka Emika Panda机械臂执行抓取与放置任务，旨在为行为克隆提供高质量的多模态演示数据。其核心研究问题聚焦于如何利用视觉-状态-动作联合时序数据训练策略，以在随机化环境中实现鲁棒的物体抓取与空间转移。数据集包含487个示范片段、近19万帧记录，并提供前视与腕部双视角视觉流，显著拓展了LeRobot生态中精细操作任务的数据储备，对推动机器人操作领域的标准化基准建设具有重要影响。

当前挑战

当前面临的首要挑战是所解决的领域问题——抓取与放置任务在物理仿真中的泛化性局限，具体表现为物体位置随机化（±5厘米X轴与±8厘米Y轴）导致的策略对空间变异性的适应需求，以及高维连续动作空间（8自由度）中的精确控制。构建过程中亦遭遇多重困难：仿真环境与真实世界间的“仿真鸿沟”导致数据直接迁移的效力受限；以20赫兹低频采样记录的高频控制（100赫兹）动作，可能丢失中间动力学细节；487个相对固定的示范片段数，难以覆盖任务中潜在的无穷状态变异，要求策略具备强大的序列建模能力以应对稀疏演示的覆盖不足。

常用场景

经典使用场景

在机器人操作领域，panda-pick-place-lerobot-18-45-03_27-05-2026数据集作为一项基于MuJoCo物理引擎模拟的Franka Emika Panda机械臂抓取与放置任务的基准资源，其最经典的使用场景是训练和评估视觉运动行为克隆策略。该数据集记录了487个演示片段，涵盖近20万帧图像与状态-动作对，通过脚本化的逆运动学状态机生成高质量的专家演示，为模仿学习方法提供了标准化训练素材，尤其适用于以ACT为代表的动作分块变换器模型，推动机器人从像素到动作的直接映射能力研究。

实际应用

在实际应用中，该数据集为工业与家庭服务场景下的自动化抓取和物品归位任务提供了可复现的训练基础。基于此数据集训练的策略可直接部署于Franka Emika Panda实体机器人，执行诸如从传送带上抓取随机摆放的零件并放置于指定位置、整理桌面杂务等操作。20Hz的观测频率与100Hz的控制频率设计确保了实时推理的可行性，使得精确的短程搬运任务既能维持操作稳定性，又具备应对环境微小扰动的鲁棒性。

衍生相关工作

该数据集的发布催生了一系列围绕动作分块与视觉运动匹配的创新研究工作。最直接的相关成果是使用ACT（Action Chunking with Transformers）在该数据上训练的基线策略，验证了长时序动作预测对提升抓取-放置连贯性的效果。后续工作进一步探索了多任务迁移学习、域随机化增强以及结合扩散模型的动作生成方法，以该数据集作为标准测试基准之一，推动了行为克隆从单一步态向复杂灵巧操作的演进，并助力LeRobot生态中数据格式与评估流程的标准化。