sonya-1-23/Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube

该数据集是一个机器人数据集，由LeRobot创建，专门用于机器人学习和控制任务。数据集包含51个episodes，总计27698帧，覆盖2个不同任务。机器人类型为franka，数据以parquet文件格式存储，视频文件以mp4格式存储，帧率为30fps。数据集特征包括动作（7维浮点数，表示末端执行器姿态的增量变化和夹爪命令）、观察状态（15维浮点数，包括关节位置、夹爪状态和末端执行器姿态）、两个摄像头图像（分辨率480x640，RGB通道，视频格式）以及元数据（如时间戳、帧索引、episode索引、任务索引等）。所有数据分为训练集（包含全部51个episodes），适用于机器人控制、强化学习和计算机视觉应用。This dataset is a robotics dataset created by LeRobot, designed for robot learning and control tasks. It includes 51 episodes with a total of 27,698 frames, covering 2 distinct tasks. The robot type is franka, and data is stored in parquet files, with video files in mp4 format at 30 fps. The dataset features include actions (7-dimensional float values representing delta end-effector pose and gripper command), observation states (15-dimensional float values including joint positions, gripper state, and end-effector pose), two camera images (resolution 480x640, RGB channels, video format), and metadata (such as timestamp, frame index, episode index, task index). All data is split into a training set (comprising all 51 episodes), suitable for applications in robot control, reinforcement learning, and computer vision.

搜集汇总

数据集介绍

构建方式

在机器人操纵领域，数据驱动的方法日益成为关键突破口。Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube数据集依托于LeRobot框架构建，以Franka机械臂为硬件平台，通过SpaceMouse控制器对机械臂末端执行器（EE）进行遥操作采集。数据集包含51个演示片段，共计27698帧，覆盖2个操作任务，记录了机械臂在快速移动条件下抓取立方体的精细动作。数据以parquet格式存储状态与动作序列，并同步采集双视角640×480分辨率视频流，帧率为30fps，确保时空信息的高保真还原。

特点

该数据集在结构设计上呈现出鲜明的多模态特性。动作空间为7维向量，涵盖末端执行器在笛卡尔空间的三维位移、三维旋转及夹爪二值指令；观测空间则融合了15维状态量，包括7个关节角度、夹爪状态、末端位姿等多种传感器信息。视频模态包含两路独立相机视角，以AV1编码压缩存储，兼顾数据质量与存储效率。此外，数据集按任务索引分类，并预设了训练划分（全部51episode均可用于训练），为模仿学习与离线强化学习研究提供了标准化的基准。

使用方法

使用者可通过LeRobot库便捷加载该数据集。首先安装lerobot，而后调用`load_dataset`函数指定数据集名称及配置名即可获得迭代器。数据结构中，`action`字段对应学习策略的输出目标，`observation.state`提供当前系统状态输入，`observation.images`则为视觉观测。由于动作序列采用delta末端位姿表示，适合端到端策略模型训练。推荐将数据缩放至[-1,1]区间，并结合chunks_size参数（1000帧/块）进行分批读取，以适配Transformer或扩散策略等现代算法架构对序列建模的需求。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖于高质量、多模态的演示数据以实现复杂技能的有效迁移。Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube数据集由LeRobot社区基于Franka Panda机器人平台创建，专注于末端执行器（EE）的快速抓取与放置任务，例如立方体操纵。该数据集利用SpaceMouse作为遥操作设备记录人类演示，共包含51个片段、约27,698帧，涵盖两项任务，并以30 FPS的双摄像头视觉与15维状态信息（包括关节角度、末端执行器位姿和夹爪状态）进行表征。其发布推动了基于视觉-运动联合表征的机器人学习研究，为细粒度操作策略的泛化提供了标准化基准。

当前挑战

该数据集所解决的领域挑战在于，机器人快速抓取任务要求模型在有限演示下兼顾动作精确度与实时性，而传统方法难以处理末端执行器在高速运动中的非线性动力学与视觉遮挡问题。构建过程中，挑战包括：通过SpaceMouse实现高带宽、低延迟的遥操作以捕获流畅演示，同时确保双摄像头视角同步且不受运动模糊干扰；此外，需要在50余个片段中平衡任务多样性，避免过拟合于单一轨迹，并保证夹爪指令与位姿变化的时序对齐精度，从而为模仿学习算法提供鲁棒的训练监督信号。

常用场景

经典使用场景

在机器人操作与模仿学习的研究领域中，Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube数据集作为一项宝贵的资源，常被用于训练机器人执行末端执行器空间位姿的快速追踪与抓取任务。该数据集涵盖了由Franka Panda机械臂配合SpaceMouse操控界面采集的高频运动轨迹，包括末端执行器的六自由度位姿增量与夹爪控制指令，同时提供多视角视觉观测信息。研究者利用这些数据，能够有效训练视觉-运动策略模型，使机器人通过模仿学习掌握从初始状态到目标状态的高效连续运动映射，尤其适用于需要快速且精确调整末端姿态的精细操作场景。

衍生相关工作

依托该数据集，学术界衍生出一系列具有影响力的工作，聚焦于提升模仿学习的样本效率与泛化能力。其中，基于扩散模型的策略优化方法通过引入噪声预测与逐步去噪过程，显著增强了动作轨迹的平滑性与多样性。另一分支工作则探索了多视角视觉编码器与因果推理结构的结合，使得机器人能在遮挡或光照变化下仍维持稳定表现。此外，部分研究利用该数据集验证了预训练-微调范式在机器人领域的适用性，通过将大规模视觉模型适配至具体操作任务，极大降低了从零训练的数据需求。这些衍生工作不仅深化了对机器人学习机制的理解，也为跨场景知识迁移开辟了新路径。

数据集最近研究

最新研究方向

该数据集以弗朗卡机器人（Franka）为载体，结合Polymetis框架与SpaceMouse遥操作接口，聚焦于末端执行器（End-Effector）在快速抓取-放置任务中的精细化控制。数据集涵盖了51个完整演示片段，包含双视角（480×640分辨率）的RGB视频流及15维状态空间信息（包括关节角度、夹爪状态与末端位姿），为模仿学习与机器人操作技能迁移提供了高质量的多模态基准。当前前沿方向集中在利用该数据训练基于视觉-语言模型的任务泛化策略、高效预训练-微调范式中的行为克隆模型，以及面向非结构化环境的因果推理与鲁棒操作。该数据集对推动开放式灵巧操作、少样本操作技能习得及人机协作中的意图理解具有显著意义。