tlpss/ur5e-gello-planar-push-100

---
dataset_info:
features:
- name: frame_index
dtype: int64
- name: episode_index
dtype: int64
- name: index
dtype: int64
- name: timestamp
dtype: float32
- name: next.done
dtype: bool
- name: next.success
dtype: bool
- name: action
sequence: float32
length: 6
- name: observation.images.wrist.rgb
dtype: video_frame
- name: observation.images.base.rgb
dtype: video_frame
- name: observation.state
sequence: float32
length: 6
- name: tcp_pose_rotvec
sequence: float32
length: 6
splits:
- name: train
num_bytes: 4994773
num_examples: 22373
download_size: 2464205
dataset_size: 4994773
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
license: mit
task_categories:
- robotics
---

A [`LeRobot`](https://github.com/huggingface/lerobot) -formatted dataset of 101 demonstrations for a 'planar push' task with a UR5e robot.
The robot has a cylindrical end-effector and has to push an object to the target location. Once done, the robot needs to move to the corner of the workspace.

#TODO: add video

The target location is fixed and marked with an orange square. Both the initial joint configuration of the robot and the pose of th
The dataset was collected using a [Gello](https://wuphilipp.github.io/gello_site/) arm to teleoperate the robot.

The robot's motion is contrained to remain top-down and on a height of z=1. The agent controls the 6 joints of the robot arm by providing absolute joint coordinates.

The observations are
- 640x480 RGB image from the wrist camera (realsense)
- 640x480 RGB image from a third-person camera (realsense)
- the joint configuration

The robot is operated at 10Hz and each episode is succesful. There is no max duration.

Collecting these 100 episodes took about 1 hour.

数据集信息：
特征：
- 名称：帧索引（frame_index），数据类型：int64（64位整数）
- 名称：片段索引（episode_index），数据类型：int64
- 名称：索引（index），数据类型：int64
- 名称：时间戳（timestamp），数据类型：float32（32位浮点数）
- 名称：下一帧完成标识（next.done），数据类型：bool（布尔值）
- 名称：下一帧成功标识（next.success），数据类型：bool（布尔值）
- 名称：动作（action）：序列型float32，长度为6
- 名称：腕部RGB观测图像（observation.images.wrist.rgb），数据类型：video_frame（视频帧）
- 名称：基座RGB观测图像（observation.images.base.rgb），数据类型：video_frame（视频帧）
- 名称：观测状态（observation.state）：序列型float32，长度为6
- 名称：TCP姿态旋转向量（tcp_pose_rotvec）：序列型float32，长度为6
数据划分：
- 名称：训练集（train），数据字节数：4994773，样本数量：22373
下载大小：2464205字节，数据集总大小：4994773字节
配置项：
- 配置名称：默认（default），数据文件：
- 划分：训练集（train），路径：data/train-*
许可证：MIT（mit）
任务类别：机器人学（robotics）

本数据集遵循[`LeRobot`](https://github.com/huggingface/lerobot)格式，包含UR5e机器人完成「平面推物」任务的101段演示数据。该机器人配备圆柱形末端执行器，需将物体推送至目标位置，任务完成后机器人需移动至工作空间的角落。

#待办：添加视频

目标位置固定，以橙色正方形标记。机器人的初始关节配置与物体的初始位姿（原文此处存在截断）
本数据集通过[Gello](https://wuphilipp.github.io/gello_site/)机械臂进行遥操作采集。

机器人运动被约束为自上而下的平面运动，且保持z轴高度为1。智能体通过输入绝对关节坐标来控制机械臂的6个关节。

观测数据包含：
- 腕部相机（RealSense）采集的640×480分辨率RGB图像
- 第三人称相机（RealSense）采集的640×480分辨率RGB图像
- 机械臂关节配置

机器人运行频率为10Hz，每段演示片段均为成功案例，无最大时长限制。

采集该100段演示数据耗时约1小时。

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • frame_index: 类型为 int64
  • episode_index: 类型为 int64
  • index: 类型为 int64
  • timestamp: 类型为 float32
  • next.done: 类型为 bool
  • next.success: 类型为 bool
  • action: 类型为 float32 序列，长度为 6
  • observation.images.wrist.rgb: 类型为 video_frame
  • observation.images.base.rgb: 类型为 video_frame
  • observation.state: 类型为 float32 序列，长度为 6
  • tcp_pose_rotvec: 类型为 float32 序列，长度为 6

• 数据分割:

  • train: 字节数为 4994773，样本数为 22373

• 数据集大小:

  • 下载大小: 2464205 字节
  • 数据集大小: 4994773 字节

• 配置:

  • default 配置:
    • 数据文件路径: data/train-*

• 许可证: MIT

• 任务类别: 机器人学

数据集描述

• 该数据集包含 101 次演示，用于 UR5e 机器人的 平面推动 任务。
• 机器人使用圆柱形末端执行器将物体推到目标位置，然后移动到工作区的角落。
• 目标位置固定，用橙色方块标记。
• 数据集使用 Gello 机械臂远程操作机器人收集。
• 机器人运动限制在 z=1 的高度，保持垂直向下。
• 机器人通过提供绝对关节坐标来控制 6 个关节。
• 观察包括：
  • 来自手腕相机的 640x480 RGB 图像
  • 来自第三人称相机的 640x480 RGB 图像
  • 关节配置
• 机器人以 10Hz 的频率操作，每个 episode 都是成功的，没有最大持续时间。
• 收集这些 100 个 episode 大约需要 1 小时。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建方式直接影响其科学价值与应用潜力。本数据集通过Gello机械臂遥操作UR5e机器人，在平面推动任务中采集了101次演示数据。机器人末端执行器为圆柱体，需将物体推至固定目标位置，随后移动至工作空间角落。数据采集频率设定为10赫兹，每次演示均成功完成，无时间上限约束，整个采集过程耗时约一小时。观测数据涵盖腕部摄像头与第三方摄像头的640x480分辨率RGB图像，以及机器人的关节配置状态，动作空间则采用六维绝对关节坐标进行控制。

特点

该数据集在机器人学习研究中展现出鲜明的技术特点。其核心在于提供了多模态观测信息，包括来自Realsense相机的双视角RGB图像与六维关节状态，形成了丰富的感知输入。机器人运动被约束为保持垂直向下且固定高度，确保了任务环境的可控性与一致性。数据集中所有演示均成功完成，无失败案例，为监督学习或模仿学习提供了高质量示范。此外，数据集采用LeRobot标准格式组织，便于在现有机器人学习框架中直接集成与使用。

使用方法

对于研究人员而言，该数据集为机器人平面操作任务的学习与验证提供了实用资源。用户可基于LeRobot兼容的加载工具直接读取数据，其中训练集包含22,373个样本。典型应用包括训练端到端的视觉运动策略，利用图像与状态观测来预测关节动作；也可用于行为克隆或离线强化学习算法的基准测试。由于动作以绝对关节坐标给出，且观测包含连续图像流，该数据集尤其适合研究高维感知输入下的运动规划与控制问题。

背景与挑战

背景概述

在机器人操作领域，平面推动任务作为一项基础且关键的技能，对于实现灵巧的物体操控具有重要意义。tlpss/ur5e-gello-planar-push-100数据集由LeRobot社区于近期创建，主要研究人员利用Gello遥操作系统驱动UR5e机械臂，采集了101次成功的演示数据。该数据集的核心研究问题聚焦于通过模仿学习推动物体至固定目标位置，并随后移动至工作空间角落，旨在为机器人学习提供高质量的真实世界交互轨迹。其贡献在于提供了包含多视角视觉与关节状态信息的结构化数据，有望推动基于视觉的机器人策略学习与仿真到真实迁移的研究进展。

当前挑战

该数据集致力于解决机器人平面推动任务中的策略泛化与鲁棒性挑战，具体涉及在复杂物理交互下准确预测动作以完成目标导向的推动操作。构建过程中的挑战主要包括：确保机械臂运动严格受限在垂直平面内以维持任务一致性，同步采集高频率的腕部与第三方视角RGB图像及关节状态数据以保障多模态对齐，以及通过遥操作高效收集大量成功演示而避免失败样本，这些因素对数据采集系统的精度与稳定性提出了较高要求。

常用场景

经典使用场景

在机器人操作与强化学习领域，tlpss/ur5e-gello-planar-push-100数据集为平面推动任务提供了宝贵的实验基础。该数据集通过UR5e机器人执行推动物体至目标位置的动作序列，结合多视角视觉与关节状态观测，典型应用于训练端到端的机器人控制策略。研究者常利用其丰富的演示数据，探索模仿学习与离线强化学习算法在复杂操作任务中的泛化能力，为机器人自主决策提供数据驱动的解决方案。

实际应用

在实际机器人部署中，该数据集可直接用于训练工业机械臂执行精细的物料推动与摆放任务，提升生产线上的自动化水平。其视觉反馈机制能够适应物体姿态变化，增强系统在非结构化环境中的鲁棒性。基于此类数据训练的模型可迁移至物流分拣、桌面整理等场景，降低机器人编程门槛，实现更灵活、自适应的操作能力，推动智能机器人在制造业与服务领域的实用化进程。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究。例如，基于其演示轨迹的模仿学习方法被用于提升策略的样本效率；结合离线强化学习技术，研究者开发了能够从静态数据中学习安全、高效策略的算法。此外，数据集的视觉-状态多模态特性催生了跨模态预训练模型的工作，这些模型在机器人操作任务中展现出优异的迁移性能，进一步推动了具身智能与机器人学习社区的算法创新与基准建设。