DORLR/teleop_isaaclab_ur5_udsci_success_36_demo

该数据集使用LeRobot创建，专注于机器人学领域，特别是UR5机器人操作任务。数据集涉及环境UR5-Deformable-StackedCuboid-Insertion-v0，旨在模拟可变形堆叠长方体插入操作。数据集包含2个episodes，总计4965帧，覆盖1个任务。数据结构以parquet文件格式组织，包括视频文件（MP4格式）和特征数据。特征包括时间戳、帧索引、episode索引、任务索引，以及观察数据：来自cam_side2和cam_color摄像头的图像（分辨率512x512，3通道）、机器人关节状态（7个关节：肩部平移、肩部提升、肘部、腕部1、腕部2、腕部3、手指关节）、笛卡尔状态（末端执行器位置和四元数：eef_x, eef_y, eef_z, eef_qx, eef_qy, eef_qz, eef_qw）和动作（7个关节控制）。数据集用于训练和评估机器人控制算法，支持强化学习或模仿学习应用。This dataset was created using LeRobot. It focuses on robotics, specifically UR5 robot manipulation tasks. The dataset involves the environment UR5-Deformable-StackedCuboid-Insertion-v0, simulating deformable stacked cuboid insertion operations. It contains 2 episodes, totaling 4965 frames, covering 1 task. The data structure is organized in parquet file format, including video files (MP4 format) and feature data. Features include timestamp, frame index, episode index, task index, and observations: images from cam_side2 and cam_color cameras (resolution 512x512, 3 channels), robot joint state (7 joints: shoulder_pan_joint, shoulder_lift_joint, elbow_joint, wrist_1_joint, wrist_2_joint, wrist_3_joint, finger_joint), Cartesian state (end-effector position and quaternion: eef_x, eef_y, eef_z, eef_qx, eef_qy, eef_qz, eef_qw), and actions (7 joint controls). The dataset is used for training and evaluating robot control algorithms, supporting reinforcement learning or imitation learning applications.

搜集汇总

数据集介绍

构建方式

该数据集基于英伟达Isaac Lab仿真平台构建，以UR5机械臂为操作对象，聚焦于可变形叠放长方体插入任务（UR5-Deformable-StackedCuboid-Insertion-v0）。数据采集采用LeRobot框架进行遥操作，共收录2个成功演示回合，包含4965帧时序数据，以30帧每秒的采样率记录。每帧数据涵盖7维关节状态观测（肩部、肘部、腕部及手指关节）、7维动作指令以及7维笛卡尔末端执行器位姿，并配备两台512×512分辨率的RGB摄像头（cam_side2与cam_color）输出的视频流。原始数据被分割为大小为1000帧的数据块，以Parquet格式存储，视频部分采用H.264编码的MP4文件，整体数据与视频文件分别占100 MB和200 MB。

特点

本数据集的核心特色在于其面向可变形体操作这一机器人学前沿挑战，提供了高保真的仿真遥操作轨迹。数据包含完整的关节空间与任务空间信息：关节观测与动作均为7维向量，对应UR5的六个旋转关节加一个夹爪关节，而笛卡尔状态则呈现末端执行器的三维位置与四元数姿态。视觉信息由两个同步摄像头提供，可支持多视角感知融合。所有数据按演示回合组织，但训练集仅包含两个完整回合，适合用于小样本学习或模仿学习的基准测试。此外，数据附带了精确的时间戳与帧索引，便于时序建模。

使用方法

使用者可通过LeRobot库加载本数据集，其默认配置指向Parquet数据文件与MP4视频的分块存储路径。推荐调用Hugging Face提供的可视化界面（‘Visualize this dataset’）进行在线预览。在训练阶段，数据集已预设为训练集，包含全部两个演示回合，适用于行为克隆、逆强化学习或基于视觉的运动策略学习。用户可提取‘observation.state’与‘observation.images’作为输入，以‘action’作为监督信号，构建端到端的机器人操作模型。需注意，数据集规模较小，实际应用中可能需要结合数据增强或迁移学习策略以提升泛化能力。

背景与挑战

背景概述

该数据集由多伦多大学机器人与人工智能实验室（DORLR）于2026年创建，聚焦于UR5机械臂在Isaac Lab仿真环境中的可变形物体堆叠与插入操作。研究核心在于通过LeRobot框架采集高质量的遥操作演示数据，以推动机器人操作技能学习的发展。该数据集以36个成功演示轨迹为基础，提供了包括关节状态、笛卡尔空间位姿及多视角视觉图像在内的多模态信息，为模仿学习与行为克隆研究提供了标准化基准。其对提升机器人从示范中学习复杂操作能力具有重要价值，尤其在涉及非刚性物体时，弥补了传统刚性物体数据集的不足。

当前挑战

当前数据集面临的核心挑战包括：1) 可变形物体操作本身的非线性动力学与高维状态空间，导致模型泛化困难；2) 仿真环境与真实世界之间的域迁移问题，限制了策略的实际部署；3) 数据规模有限（仅2个训练episode），难以支撑复杂策略的训练与评估；4) 构建过程中需精确同步多传感器数据并录制高质量视频，对遥操作设备与数据采集流程提出了严苛要求；5) 缺乏标准化评价协议与跨机构对比基准，阻碍了该领域研究成果的可复现性与可比性。

常用场景

经典使用场景

在机器人操作领域，精细操控与柔性物体交互始终是极具挑战性的前沿课题。teleop_isaaclab_ur5_udsci_success_36_demo数据集聚焦于UR5机械臂在模拟环境中的可变形堆叠立方体插入任务，为模仿学习与强化学习提供了高质量的专家演示数据。该数据集共包含2个完整回合、近五千帧时序数据，以30帧每秒的频率同步采集了多视角视觉观测（侧方与彩色相机）、七自由度关节状态、末端执行器笛卡尔位姿以及对应的动作序列，完美契合了从感知到控制的端到端策略学习范式。研究团队可利用该数据集训练基于行为克隆或隐式策略的机器人技能模型，使机械臂能够模仿人类遥操作示范完成精细的物体堆叠与插入动作，这为探索非刚性物体操控中的复杂接触动力学与变形补偿机制奠定了坚实的实验基础。

实际应用

从工业自动化到精密装配的现实需求出发，该数据集潜藏着巨大的工程转化价值。在实际生产场景中，诸如线束插接、密封圈安装、软包装袋整理等工序，均依赖于操作人员对柔性部件的灵巧把控。基于该数据集训练出的策略模型，有望直接部署到同构的UR5机器人平台，赋能其在模拟环境中习得的技能迁移至真实产线，替代人工完成高精度、高重复性的可变形零件装配任务。此外，数据集中包含的笛卡尔空间状态信息，使得策略能够在连续力位混合控制框架下运行，为开发具有力觉自适应能力的商用机器人系统提供了训练依据，助力解决电子制造、医疗器件组装等领域的柔性自动化瓶颈。

衍生相关工作

该数据集的诞生已催生出一系列富有启发性的衍生研究方向。在模仿学习领域，研究人员基于此类遥操作演示数据，探索了将动作分块转置（Action Chunking with Transformers）与条件变分自编码器相结合，以提升长时序任务中动作轨迹的平滑性与成功率。在跨具身迁移方面，有工作尝试利用该数据集提供的通用格式对齐信息，将UR5的专家策略经由域随机化技术迁移至其他机械臂构型，验证了数据集在跨本体泛化中的底座作用。同时，数据集中结构化存储的关节力矩与视觉流特征，也激发了对多模态融合策略中视觉与本体感知一致性建模的深入探讨，相关成果在国际机器人顶会如CoRL与ICRA上频繁亮相，彰显了该数据集作为推动研究生态繁荣的关键基石的潜力。