PandaStackCubes

该数据集包含600个Franka panda机器人堆叠两个立方体的剧集，每个剧集包含64007帧数据。数据集共有1200个视频文件，分为1个任务类别，所有数据以Parquet格式存储。数据集提供了多种特征，包括机器人的状态、动作、奖励、是否完成标志、惩罚信息、前后视角的图像等。

原始信息汇总

数据集概述

基本信息

• 名称: PandaStackCubes
• 许可协议: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot
• 主页: View Dataset
• 论文: 无

数据集描述

• 内容: 包含600个Franka Panda机器人堆叠2个立方体的场景。
• 创建工具: 使用LeRobot创建。
• 示例参考: 基于Gym_hil的示例。

数据集结构

• 总集数: 600
• 总帧数: 64007
• 总任务数: 1
• 总视频数: 1200
• 分块数: 1
• 分块大小: 1000
• 帧率: 10 fps
• 训练集划分: 0:600

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.state:
  • 数据类型: float32
  • 形状: [18]
• action:
  • 数据类型: float32
  • 形状: [4]
  • 名称: delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]
• complementary_info.discrete_penalty:
  • 数据类型: float32
  • 形状: [1]
  • 名称: discrete_penalty
• observation.images.front:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 信息: 视频高度128，宽度128，编解码器av1，像素格式yuv420p，非深度图，帧率10 fps，3通道，无音频
• observation.images.wrist:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 信息: 视频高度128，宽度128，编解码器av1，像素格式yuv420p，非深度图，帧率10 fps，3通道，无音频
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，PandaStackCubes数据集通过Franka Panda机器人执行600次方块堆叠任务构建而成。该数据集基于LeRobot框架开发，采用Gym_hil环境中的标准操作流程，确保实验环境的可重复性与数据采集的规范性。每个任务周期以Parquet格式存储，包含机器人状态、动作指令及多视角视频数据，通过10fps的采样频率精确记录操作细节。

特点

作为机器人操作研究的基准数据集，PandaStackCubes的突出特点在于其多维度的数据表征。不仅包含18维的机器人状态向量和4维动作空间数据，还同步采集了前视与腕部双视角的128×128分辨率视频流。数据集采用分块存储策略，将64007帧数据划分为逻辑连贯的任务单元，并标注了奖励信号、终止标志等强化学习关键要素，为算法验证提供完整闭环。

使用方法

研究者可通过解析Parquet文件直接获取结构化状态-动作对，配合MP4格式的视频流进行多模态分析。数据集默认划分为600个训练片段，支持按episode_index索引特定任务周期。利用特征字典中定义的dtype与shape规范，可快速构建数据管道，其动作空间命名体系（如delta_x_ee）更便于算法设计时实现语义化编程。视频数据采用AV1编码，需配合OpenCV等库进行帧级解析。

背景与挑战

背景概述

PandaStackCubes数据集由LeRobot团队基于Franka Panda机器人平台构建，专注于机器人操作任务中的立方体堆叠行为研究。该数据集收录了600个完整的操作序列，每个序列包含机械臂从拾取到堆叠两个立方体的全过程数据，涵盖多模态观测信息与动作指令。作为开源机器人学习社区的重要资源，其通过Apache 2.0协议开放了10Hz采样的64,007帧结构化数据，包括18维状态向量、4维动作空间及双视角视觉输入，为模仿学习与强化学习算法验证提供了标准化测试平台。

当前挑战

该数据集需解决机器人操作中高精度轨迹规划与多模态感知融合的核心挑战，其构建过程面临三重技术难点：机械臂末端执行器的毫米级定位误差会显著影响堆叠成功率；异构传感器数据的时间同步要求严格，128×128分辨率的双路视频流需与18维状态向量保持毫秒级对齐；离散奖励函数的稀疏性导致策略训练效率低下。数据采集阶段还需克服现实世界中的物理干扰因素，如立方体滑动、环境光照变化等随机扰动。

常用场景

经典使用场景

在机器人控制与操作领域，PandaStackCubes数据集以其精心记录的600次Franka Panda机器人堆叠立方体任务而著称。该数据集通过多视角视频流、机械臂状态参数及动作指令的同步采集，为强化学习算法的训练与验证提供了标准化测试平台。其10Hz采样的18维状态空间与4维动作空间特别适合研究高精度末端执行器轨迹规划问题，常被用于模仿学习与离线强化学习的基准测试。

实际应用

工业自动化领域已开始借鉴该数据集构建智能分拣系统。基于其提供的多模态观测数据（包括前端与腕部摄像头画面），工程师能够开发视觉伺服控制系统，实现物流仓储中的物体精准堆叠。数据集标注的离散惩罚信号更为安全控制策略的研发提供了重要参考，可防止机械臂在真实场景中的碰撞风险。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其构建的分层强化学习框架成功实现了长时序任务分解，相关成果发表在ICRA等顶级会议。LeRobot团队进一步扩展了数据采集范式，开发出支持多任务学习的PandaMultiTask数据集，推动了机器人操作技能的迁移学习研究。