isaaclab_ur7e_3task_fixed

Hugging Face2026-09-08 更新2026-09-09 收录

机器人操作

灵巧操作

数据链接：

https://huggingface.co/datasets/DexSteer/isaaclab_ur7e_3task_fixed 数据链接链接失效反馈

官方服务：

资源简介：

该数据集为 Isaac Lab 环境中 UR7e 机械臂与 RH5DG2 灵巧手执行三种操作任务的固定数据集（LeRobot v3.0 格式）。包含三个任务：抓取平底锅（Grasp the frying pan）、倒水（Pour the cup）和挂杯（Lift the hung cup）。每个任务以两种动作表示形式提供：绝对关节目标（joint）和末端执行器增量（delta-EE），分别存储于不同文件夹。动作向量共19维，前6维为手臂动作，后13维为手部动作。数据规模：grasp_pan 199个演示，pour_cup 150个演示，cup_hang 200个演示。每个任务对应一个文本提示。数据集修正了之前版本中手臂动作全为零的数据缺陷，并重新生成了末端执行器增量标签。评估环境使用相同的物理参数，包括摩擦力、增益和随机化设置。

This dataset is a fixed dataset (LeRobot v3.0 format) of a UR7e robotic arm and RH5DG2 dexterous hand performing three manipulation tasks in the Isaac Lab environment. It includes three tasks: Grasp the frying pan, Pour the cup, and Lift the hung cup. Each task is provided in two action representations: absolute joint targets (joint) and end-effector delta (delta-EE), stored in separate folders. The action vector has 19 dimensions, with the first 6 for arm actions and the last 13 for hand actions. Data scale: 199 demonstrations for grasp_pan, 150 for pour_cup, and 200 for cup_hang. Each task has a corresponding text prompt. The dataset fixes the data defect where arm actions were all zeros in a previous version and regenerates the end-effector delta labels. The evaluation environment uses the same physical parameters including friction, gains, and randomization settings.

创建时间：

2026-09-07

原始信息汇总

数据集概述

名称：isaaclab_ur7e_3task_fixed
发布方：DexSteer
地址：https://huggingface.co/datasets/DexSteer/isaaclab_ur7e_3task_fixed

该数据集为固定版本的 LeRobot v3.0 数据集，面向 UR7e + RH5DG2 机器人 Isaac Lab 任务，共包含 3 个子任务（抓锅、倒杯、挂杯）。数据集内采用两种动作约定，每种约定对应一组文件夹；两种约定的状态、视频与提示文本完全一致，仅在 action[:, 0:6]（机械臂动作）上存在差异。

文件夹结构与动作约定

文件夹集合	机械臂动作（维度 0–5）	手部动作（维度 6–18）	评估执行方式
`grasp_pan/`, `pour_cup/`, `cup_hang/`	绝对关节目标（弧度），等于下一帧记录的关节位置	默认相对偏移（默认值为 0）	`ARM_ACTION=joint HAND_ABSOLUTE=0`
`grasp_pan_ee/`, `pour_cup_ee/`, `cup_hang_ee/`	工具0在机器人根坐标系下的增量末端执行器（delta-EE），Diff-IK 单位：位置增量除以 0.03 米，轴角旋转增量除以 0.05 弧度（旋转左乘，Isaac Lab `apply_delta_pose`）	绝对关节目标（数值上等于默认 0 加偏移）	`ARM_ACTION=delta_ee_exec HAND_ABSOLUTE=1`

数据规模与任务提示

grasp_pan：199 个完整演示（原始 201 集中剔除 episode_0051 与 episode_0097，这两集未完成 phase_3）
pour_cup：150 个完整演示（原始 152 集中剔除 episode_0105 与 episode_0151）
cup_hang：200 个完整演示（全部保留）

任务提示：

Grasp the frying pan by its handle and place it on the nearest gas burner.
Grasp the cup, lift it, and pour it out.
Lift the hung cup off the holder.

训练建议：应使用全部演示数据进行训练，切勿通过 --dataset.episodes 参数指定演示子集（说明中特别指出原始 pi05_grasp_pan 运行曾因误用排除列表导致仅用 197 集训练）。

数据修正背景

原始故障：DexSteer/isaaclab-ur7e-* 系列中所有帧的 action[:, 0:6] 均为零，导致策略无法驱动机械臂。
腕部视频问题：旧版的 _pour_cup_clean_broken/ 中腕部视频来自物理渲染且损坏；pour_cup/ 与 pour_cup_ee/ 则使用同一录制状态的非物理腕部渲染。

末端执行器标签生成方法

录制得到的关节状态在 Isaac Lab 中重放，并在根坐标系下读取工具0位姿（recover_arm_actions.py）；标签为相邻帧间的增量（通过 apply_delta_pose 重放误差可低至 1e-6）。评估时执行方式为：对每个增量在“指令工具0位姿”上进行积分，使用 UR 解析逆运动学（以上一指令为种子、族内稳定、限制跳跃），随后采用绝对的 JointPositionActionCfg 机械臂项施加动作。

演示重放成功率：

cup_hang：9/10；pour_cup：9/10（与关节空间路径一致）
grasp_pan：4/10 —— 因其起始与放置姿态中 wrist_2 = -pi（UR 腕部奇异点），任意逆运动学解存在歧义；而关节空间文件夹可达到 10/10

建议：若执行器无法处理腕部奇异点，grasp_pan 任务应优先使用关节空间文件夹（grasp_pan/）。

评估环境契约

通过脚本 isaac-tasks/scripts/pipeline/eval/run_pi05_ur7e.sh <task> 运行评估。环境配置要点：

摩擦系数：机器人及杯子表面为 3.0（cup_hang 任务中持杯器为 0.08）
手部增益：pour_cup 与 grasp_pan 为 300/8/80；cup_hang 为 450/8/130
cup_hang 机械臂增益：8000/400/400（刚性）
cup_hang 的持杯器位姿随机化范围与训练时保持一致（矩形区域）

搜集汇总

数据集介绍

构建方式

本数据集旨在解决Isaac Lab环境中UR7e与RH5DG2机器人协同操作任务的数据采集缺陷。原始数据因相位采集器驱动机械臂时记录零位姿动作而存在致命问题，导致策略无法有效控制机械臂。为构建可靠数据集，研究者对任务执行过程进行了细致的阶段划分，并剔除了未完成最终阶段的示范，确保每个片段均包含完整任务轨迹。针对动作表示，数据集提供了两种互补范式：一组采用绝对关节目标位置，另一组则利用末端执行器增量位姿，后者通过重放关节状态并在Isaac Lab中反算工具0的位姿增量生成，确保了动作标签的物理一致性与精度。最终，三类操作任务——抓取平底锅、倒水、挂杯——均收集了充足的高质量示范。

特点

该数据集的核心特色在于其对动作表示的双重编码，即同一状态序列兼有绝对关节角与末端执行器增量两种动作标签，为策略学习提供了不同控制视角的选择。数据的物理保真度通过严格的重放验证得到保障，关节空间动作路径可达到近乎完美的复现实绩。尤为值得一提的是，数据构建过程揭示并规避了廉价的IK奇异点问题，在抓取平底锅任务中，联合空间表示能完全回放，而端到端执行则受奇异点限制。此外，数据集的评估环境契约详细记录了摩擦系数、增益等物理参数，确保了仿真与真实执行条件的一致性。

使用方法

使用时需注意，所有完整示范均来自每个任务的全部片段，切勿错误地传递排除列表。动作选择应根据执行器能力而定：若需关节空间控制，则采用绝对关节目标文件夹；若执行器支持差分IK，则使用增量末端执行器文件夹。在抓取平底锅等存在奇异位型的任务中，优先选择关节空间动作以保证复现成功率。评估时，应遵循提供的脚本配置，确保仿真环境物理参数与数据收集阶段一致。数据集中视频、提示词与状态信息在两种动作条件下完全统一，便于直接对比不同控制策略的性能。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖高质量数据集以训练策略网络，然而现有公开数据集常存在动作标签缺失或物理不一致的问题，制约了策略的泛化与部署。该数据集由DexSteer团队创建，名为isaaclab_ur7e_3task_fixed，旨在通过修复已知数据缺陷，提供适用于UR7e机械臂与RH5DG2灵巧手协同任务（如抓取煎锅、倒水、挂杯）的固定版本，以推动具身智能体在复杂操作中的研究。核心研究问题聚焦于确保动作标签的物理有效性，并消除因采集流程或渲染错误引入的噪声。该数据集对仿真实操迁移及策略可复现性研究有重要影响，其提供的双动作约定（关节目标与末端执行器增量）为后续多模态策略训练提供了基准。

当前挑战

该数据集的核心挑战之一是解决原始数据中手臂动作全零的缺陷，即原采集代码将直接关节目标误记录为零动作，导致基于此类数据的策略无法驱动机器人移动。构建过程中，需通过重放关节状态并利用逆运动学生成增量末端执行器标签，但面临UR7e手腕奇异点（如wrist_2=-π）带来的歧义，导致部分任务（grasp_pan）的增量执行成功率低至4/10，而关节空间文件夹可达到10/10。此外，数据清理需剔除因中断而缺失的阶段（如episode_0051等），并修复损坏的物理渲染视频，同时保证不同动作约定下的状态、视频与提示完全一致，增加了数据对齐与验证的复杂度。

常用场景

经典使用场景

该数据集专为双臂协同操作任务而设计，涵盖抓取平底锅、倒水及悬挂杯子摘取三大典型场景，适用于训练和评估基于视觉-语言-动作模型（如π0）的具身智能体。其核心价值在于提供了两种互补的动作表征：绝对关节角度目标与末端执行器增量位姿，分别对应关节空间与任务空间的控制范式，为研究动作表征对策略学习的影响提供了基准。

衍生相关工作

围绕此数据集，衍生出了一系列工作，包括：动作表征对比研究（探索绝对关节与增量末端执行器表征的优势）、数据清洗与修复方法的学术探讨（针对原始数据缺陷的矫正流程）、以及基于评估环境的安全学习控制策略开发。此外，该数据及促进了多任务模仿学习与视觉-语言模型微调技术的进步，成为机器人操纵领域社区基准的重要组成部分。

数据集最近研究