DORLR/teleop_isaaclab_ur5_insert_success_14_demo

该数据集是一个机器人学数据集，使用LeRobot工具创建，专注于UR5机器人执行变形堆叠长方体插入任务（env:UR5-Deformable-StackedCuboid-Insertion-v0）。数据集包含1个episode、4800帧数据，帧率为30fps，总数据文件大小为100MB，视频文件大小为200MB。特征包括来自两个摄像头（cam_side2和cam_color）的图像观察（512x512分辨率、3通道）、机器人关节状态（7个关节）、笛卡尔状态（末端执行器位置和四元数）以及动作数据（7个关节控制）。数据集结构以parquet文件格式存储，适用于机器人学习和强化学习研究。This dataset is a robotics dataset created using the LeRobot tool, focusing on a UR5 robot performing a deformable stacked cuboid insertion task (env:UR5-Deformable-StackedCuboid-Insertion-v0). It contains 1 episode with 4800 frames at 30fps, with total data file size of 100MB and video file size of 200MB. Features include image observations from two cameras (cam_side2 and cam_color, 512x512 resolution, 3 channels), robot joint states (7 joints), Cartesian states (end-effector position and quaternion), and action data (7 joint controls). The dataset is structured in parquet file format and is suitable for robotics learning and reinforcement learning research.

搜集汇总

数据集介绍

构建方式

该数据集名为teleop_isaaclab_ur5_insert_success_14_demo，依托于LeRobot框架构建，旨在服务于机器人操控领域中的精密插入任务研究。数据集的生成过程基于Isaac Lab仿真环境，采用遥操作方式操控UR5机械臂执行可变形堆叠立方体的插入操作，并仅保留成功完成的演示。数据以Parquet格式存储，包含4800帧连续数据，并配以MP4视频记录，全面捕捉实验过程中的视觉与运动信息。

特点

该数据集具有高度专业化的结构特性，涵盖单条完整演示轨迹，总计4800帧，帧率为30FPS。其特色在于同时提供了7维关节状态（shoulder_pan_joint等）与7维笛卡尔空间状态（eef_x等）两种观测数据，均为32位浮点型，且动作空间与关节状态空间维度一致，便于模仿学习算法的直接应用。此外，两路512x512像素的摄像头视角（cam_side2与cam_color）以视觉形式记录了任务环境，丰富了数据模态。

使用方法

使用该数据集时，建议通过LeRobot库加载，该库提供了标准化的数据处理接口。用户可利用Parquet文件中的action和observation.state字段进行行为克隆或强化学习中的策略训练，同时可结合视频数据开展视觉-运动联合建模。值得注意的是，数据已按1000帧的块大小进行分片，并默认将全部数据归入训练集，便于实验流程的快速启动与迭代。

背景与挑战

背景概述

该数据集由DORLR团队于2026年创建，基于LeRobot框架和Isaac Lab仿真平台，聚焦于UR5机械臂的精密插入任务。核心研究问题在于如何通过遥操作收集高质量演示数据，以训练机器人完成涉及可变形堆叠立方体的复杂装配操作。数据集包含单条演示轨迹、4800帧时间序列及多模态观测信息（如关节状态、笛卡尔位姿与视觉图像），为模仿学习和技能迁移研究提供了基础性资源。其对机器人操作领域的影响力体现在为高精度、结构化环境的插入任务提供了标准化数据基准，促进了Sim-to-Real方法的验证与发展。

当前挑战

该数据集面临的挑战首先来自领域问题：高精度插入任务要求机械臂在几何约束下实现亚毫米级对齐，而可变形物体的引入进一步加剧了状态估计与动力学建模的复杂度。在构建过程中，遥操作系统的延迟和抖动可能降低演示质量，单一轨迹的有限覆盖限制了策略的泛化能力。此外，仿真环境中的物理参数（如摩擦、刚度）与现实世界存在偏差，数据采集的噪声与视场遮挡也为后续的视觉-动作表征学习带来了额外困难。

常用场景

经典使用场景

在机器人灵巧操作的研究领域中，由UR5机械臂执行的可变形堆叠长方体插入任务是一类极具挑战性的精细操作问题。teleop_isaaclab_ur5_insert_success_14_demo数据集通过遥操作方式采集了14次成功演示，记录了包含关节角度、末端执行器笛卡尔位姿及多视角视觉图像在内的完整状态-动作序列。研究者可借助该数据集训练模仿学习模型，使机器人习得从视觉感知到关节运动的端到端映射策略，从而在仿真环境Isaac Lab中复现高精度的插入技能，为后续迁移至真实场景奠定基础。

实际应用

在实际工业与协作场景中，该数据集训练的模型可直接用于智能装配流水线，例如电子元件的弹性卡扣安装或柔性线束的对接操作。UR5机械臂结合学习到的插入策略，能够在不依赖专用夹具或精密力觉传感器的情况下，通过柔顺运动完成公差小于0.5毫米的堆叠体装配任务。此外，该方法可快速迁移至医疗手术辅助、易碎包装分拣等对力控精度要求严苛的领域，显著提升自动化系统的适应性与安全性。

衍生相关工作

该数据集催生了多项标志性研究成果，包括基于行为克隆的UR5灵巧操作策略、融合扩散模型的机器人多模态动作生成框架，以及将仿真数据通过域随机化迁移至真实世界的Sim2Real技术。相关研究者进一步联合LeRobot生态系统与Isaac Lab仿真平台，构建了闭环的数据采集-训练-评估流水线，推动了开源机器人示范数据集的标准化进程。这些工作不仅验证了少量高质量演示在复杂插入任务中的有效性，还启发了后续针对可变形物体操作的元学习与少样本泛化研究。