sonya-1-23/Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube_filtered

该数据集由LeRobot创建，专注于机器人技术领域，使用Franka机器人记录。数据集包含48个训练集片段，总计26008帧，涉及2个任务。数据以Parquet格式存储，视频文件为MP4格式，帧率为30fps。数据集的特征包括：动作数据（7维浮点数，表示末端执行器位姿增量及夹爪二值指令）、观测状态（15维浮点数，涵盖7个关节位置、归一化夹爪状态、夹爪指令以及末端执行器位姿）、两个摄像头图像（分辨率480x640，3通道彩色视频），以及时间戳、帧索引、片段索引和任务索引等元数据。这些数据用于机器人学习任务，如动作控制和视觉感知。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：默认 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **主页**：[需补充更多信息] - **论文**：[需补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "franka", "总轨迹数": 48, "总帧数": 26008, "总任务数": 2, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:48" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征项": { "动作": { "数据类型": "float32", "字段名称": [ "delta_ee_pose.x（末端执行器位姿增量X轴）", "delta_ee_pose.y（末端执行器位姿增量Y轴）", "delta_ee_pose.z（末端执行器位姿增量Z轴）", "delta_ee_pose.rx（末端执行器位姿增量滚转角）", "delta_ee_pose.ry（末端执行器位姿增量俯仰角）", "delta_ee_pose.rz（末端执行器位姿增量偏航角）", "gripper_cmd_bin（夹爪命令二进制值）" ], "形状": [7] }, "观测.状态": { "数据类型": "float32", "字段名称": [ "joint_1.pos（关节1位置）", "joint_2.pos（关节2位置）", "joint_3.pos（关节3位置）", "joint_4.pos（关节4位置）", "joint_5.pos（关节5位置）", "joint_6.pos（关节6位置）", "joint_7.pos（关节7位置）", "gripper_state_norm（归一化夹爪状态）", "gripper_cmd_bin（夹爪命令二进制值）", "ee_pose.x（末端执行器位姿X轴）", "ee_pose.y（末端执行器位姿Y轴）", "ee_pose.z（末端执行器位姿Z轴）", "ee_pose.rx（末端执行器位姿滚转角）", "ee_pose.ry（末端执行器位姿俯仰角）", "ee_pose.rz（末端执行器位姿偏航角）" ], "形状": [15] }, "观测.图像.camera_1": { "数据类型": "video（视频）", "形状": [480, 640, 3], "维度说明": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "是否包含音频": false } }, "观测.图像.camera_2": { "数据类型": "video（视频）", "形状": [480, 640, 3], "维度说明": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "字段名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "轨迹索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "字段名称": null } } } ## 引用说明 **BibTeX格式引用**： bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操控研究提供高质量的示范数据。数据采集使用Franka机器人，通过SpaceMouse设备进行末端执行器（EE）的遥操作控制，专注于快速抓取与放置立方体任务。采集过程记录了48个完整演示片段，总计26008帧，涵盖两种不同任务。数据以30帧每秒的采样率同步存储，包含机器人关节状态、末端执行器位姿、夹爪指令以及双视角高清视频（分辨率480×640，编码为AV1格式）。所有数据被切分为1000帧的块文件，以Parquet格式存储，便于高效读取与管理。

使用方法

数据集可直接通过HuggingFace LeRobot库加载，支持按任务索引或片段索引进行访问。用户可通过指定数据路径中的Parquet文件与视频文件，迭代获取每一帧的动作、状态与视觉观测。在训练中，动作向量可直接作为策略输出的回归目标，观测状态与图像则可分别输入到基于状态或视觉的模仿学习模型中。数据集默认划分为完整训练集（48个片段），并支持自定义分割。此外，通过修改chunks_size参数，可灵活调整批处理加载时的数据切分粒度，适配不同计算资源下的训练需求。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖高质量演示数据来训练策略，而Franka机械臂因其精准性与灵活性成为研究热点。该数据集由Real Panda团队基于LeRobot框架于平台构建，聚焦于末端执行器（EE）快速抓取立方体的任务，记录了48个演示片段、26008帧数据，涵盖末端位姿增量、关节状态及双目视觉图像等模态。通过SpaceMouse遥操作设备采集，数据集为研究灵巧操作中的位姿控制与闭环反馈提供了标准化基准，其公开发布有助于推动模仿学习在精细装配等真实场景中的应用。

当前挑战

数据集面临的核心挑战在于：1）解决机器人操作中高精度末端位姿估计与实时控制耦合的领域难题，尤其是任务仅依赖末端三角化增量而非完整动力模型时，对动作序列的平滑性与抗干扰能力要求严苛；2）构建过程中，遥操作演示的复现性受人类操作差异与设备抖动影响，且48个片段的有限规模难以覆盖复杂环境变异性，同时AV1视频编解码引入的计算开销与多模态数据同步的时序误差，进一步增加了数据质量保障的难度。

常用场景

经典使用场景

在机器人学习领域，Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube_filtered数据集为模仿学习与行为克隆范式的验证提供了理想平台。该数据集记录了Franka机械臂在Polymetis框架下，通过SpaceMouse遥操作执行快速立方体抓取任务的轨迹，包含48个完整回合与26008帧、30帧每秒的高频观测数据。经典使用场景围绕'从示范中学习'展开，研究者利用7维末端执行器delta位姿动作与15维关节状态、两个摄像头视觉流构建端到端策略网络，在仿真或真实环境中复现人类演示的灵巧操作能力。

解决学术问题

该数据集精准对应了机器人操作研究中'少样本泛化'与'多模态融合'两大核心挑战。通过提供高精度动作标签与多视角视觉观测，它使学术界得以量化分析状态空间与动作空间间的复杂映射关系，探索策略在未知物体位置下的鲁棒性。推动了对空间运动延拓问题的理解，为对比不同策略表示（如扩散模型、Transformer）对操作精度的影响提供了标准化基准，深刻影响了灵巧操作领域的数据驱动研究方法论。

实际应用

其实际应用聚焦于工业与家用的精细操作场景，如流水线上的快速分拣与物品整理。数据集训练出的策略可直接部署至Franka本体，借助遥操作先验实现'零试错'的立方体拾放任务。在物流仓储中，此类技术可替代人工完成高频次的重复抓取，降低人力疲劳带来的误差；在家庭服务机器人领域，则为更复杂物件的灵巧操控（如餐具归位）奠定了运动规划基础，加速了人机协作效率的质变。

数据集最近研究

最新研究方向

在机器人学习与操控领域，Real_Panda_Polymetis_SpaceMouse_EE_Fast_Cube_filtered数据集融合了Franka机械臂的高精度末端执行器控制与SpaceMouse交互式遥操作技术，聚焦于快速抓取与放置任务的模仿学习。该数据集记录了48个高质量示范片段，包含双视角视觉观测（30fps）、关节状态及末端位姿等关键信息，为研究基于视觉的运动策略提供了丰富素材。当前前沿方向集中于利用此数据集训练端到端策略，结合空间注意力机制与动作分块（Action Chunking）方法，以实现对非结构化环境中动态目标的鲁棒操作。这一工作不仅推动了机器人从人类演示中高效习得复杂技能的研究进程，也为构建可泛化的灵巧操作基础模型奠定了重要基础，尤其在工业自动化与家庭服务场景中展现出深远应用潜力。