LongHorizon
收藏资源简介：
该数据集名为LongHorizon — LoHRbench CuRobo Demonstrations (joint-pose)，提供了8个长视野操作任务的成功演示轨迹，这些任务源自LoHRbench（基于ManiSkill3和Franka Panda机器人），并使用CuRobo GPU运动规划器收集。数据集包含两种格式的相同成功轨迹：LeRobot v2格式（1,200个episodes，每个任务限制为150个）和ManiSkill HDF5格式（1,383个episodes，包含所有成功轨迹）。所有轨迹均以关节位置（8D pd_joint_pos）表示，且仅包含成功episodes。数据集规模为3,311,118帧，帧率为20fps，使用Franka Panda机器人（带腕部摄像头），动作空间为8维绝对关节目标（7个手臂关节和1个夹爪命令）。每帧特征包括base camera RGB图像（128x128x3）、wrist camera RGB图像（128x128x3）、机器人状态（9维浮点数，表示关节位置）和动作（8维浮点数）。任务涵盖超级长视野、主动探索、工具使用和杂乱环境类别，每个任务附带语言指令。数据集仅用于成功episodes，动作为绝对目标，且仅提供关节位置表示。
The dataset named LongHorizon — LoHRbench CuRobo Demonstrations (joint-pose) provides successful demonstration trajectories for 8 long-horizon manipulation tasks, derived from LoHRbench (based on ManiSkill3 and Franka Panda robot) and collected using the CuRobo GPU motion planner. It includes the same successful trajectories in two formats: LeRobot v2 format (1,200 episodes, limited to 150 per task) and ManiSkill HDF5 format (1,383 episodes, containing all successful trajectories). All trajectories are represented as joint positions (8D pd_joint_pos) and consist only of successful episodes. The dataset scale is 3,311,118 frames at a frame rate of 20fps, using a Franka Panda robot (with a wrist camera), with an action space of 8-dimensional absolute joint targets (7 arm joints and 1 gripper command). Each frame features include base camera RGB image (128x128x3), wrist camera RGB image (128x128x3), robot state (9-dimensional float representing joint positions), and action (8-dimensional float). Tasks cover super long-horizon, active exploration, tool use, and cluttered environment categories, each accompanied by language instructions. The dataset is intended for successful episodes only, with actions as absolute targets, and provides only joint position representations.
数据集概述：LongHorizon — LoHRbench CuRobo Demonstrations (joint-pose)
总览
- 来源： 来自 LoHRbench（基于 ManiSkill3、Franka Panda 机器人）的 8 个长时程操作任务 的成功演示轨迹，使用 CuRobo GPU 运动规划器收集。
- 许可协议： Apache-2.0
- 任务类型： 机器人操作 (robotics)
- 标签： LeRobot, lohrbench, panda, curobo, manipulation, long-horizon
数据格式与规模 提供两种格式的相同成功轨迹：
| 路径 | 格式 | 轨迹数 | 说明 |
|---|---|---|---|
data/, meta/ |
LeRobot v2 | 1,200（每个任务最多150条） | 可直接用于 pi0 / LeRobot 训练管道 |
hdf5_joint_pose/ |
ManiSkill HDF5 | 1,383（所有成功轨迹） | 包含原始轨迹及筛选后的元数据 JSON |
- 总帧数： 3,311,118 帧
- 帧率： 20 fps
- 机器人： Franka Panda（带腕部相机
panda_wristcam） - 规划器： CuRobo (GPU MotionGen)
- 动作空间： 8 维
pd_joint_pos—— 7 个手臂关节目标 + 1 个夹爪指令（均为绝对目标）
每帧特征
| 键 | 数据类型 | 形状 | 来源 |
|---|---|---|---|
image |
image | (128, 128, 3) | 基座相机 RGB |
wrist_image |
image | (128, 128, 3) | 手/腕部相机 RGB |
state |
float32 | (9,) | 机器人关节位置 (7 手臂 + 2 手指) |
actions |
float32 | (8,) | pd_joint_pos 目标 (7 手臂 + 1 夹爪) |
任务与语言指令
| 任务 | 类别 | 指令 |
|---|---|---|
stack_10_cube |
super_long_horizon | 将10个方块堆叠在一起，从红色方块开始 |
reverse_stack |
super_long_horizon | 按相反顺序将10个已堆叠的方块反向堆叠 |
stack_active_exploration |
active_exploration | 打开抽屉，拾取方块，从红色方块开始将它们堆叠在一起 |
pick_active_exploration |
active_exploration | 将罐子、螺丝刀和杯子从抽屉中取出 |
fruit_placement |
tool_using | 将四个草莓放入目标位置 |
repackage |
tool_using | 将方块放入碗中，并将碗堆叠在盘子上 |
cluttered_packing |
clutter | 将三个方块放入碗中 |
stack_cube_clutter |
clutter | 将3个方块堆叠在一起，从红色方块开始 |
每帧的语言指令存储在 LeRobot 格式的 task 字段中。
HDF5 成功轨迹数量详情（hdf5_joint_pose/）
| 任务 | 成功轨迹数 |
|---|---|
| stack_10_cube | 150 |
| reverse_stack | 172 |
| stack_active_exploration | 300 |
| pick_active_exploration | 150 |
| fruit_placement | 150 |
| repackage | 150 |
| cluttered_packing | 161 |
| stack_cube_clutter | 150 |
| 总计 | 1,383 |
每个 <name>_success.h5 文件仅包含成功的 traj_* 组；对应的 <name>_success.json 是仅包含这些轨迹的 ManiSkill 轨迹元数据。HDF5 格式：obs/agent/qpos (T, 9)，obs/sensor_data/{base,hand}_camera/rgb (T, 128, 128, 3)，actions (T-1, 8)。
重要说明
- 仅包含成功的轨迹（根据 ManiSkill 采集元数据中的每个轨迹成功标签；不使用每步的成功标志）。
- 动作为绝对关节目标。对于 pi0/pi0.5 风格的训练，请将 7 个手臂关节转换为相对于当前状态的差值，并保留夹爪的绝对值。
- 此发布仅包含 joint-pose (
pd_joint_pos) 表示（包括 LeRobot 和 HDF5 格式）。不包含 delta-EE (pd_ee_delta_pose) 变体。
