DORLR/teleop_isaaclab_ur5_insert_success_9_demo

该数据集是一个机器人学数据集，使用LeRobot框架创建，专门用于UR5机器人在可变形堆叠长方体插入任务（环境：UR5-Deformable-StackedCuboid-Insertion-v0）中的演示数据。数据集包含1个总集、3600个总帧和1个总任务，数据以Parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。特征包括时间戳、帧索引、集索引、索引、任务索引，以及来自侧面摄像头（cam_side2）和彩色摄像头（cam_color）的图像观察（分辨率为512x512x3），机器人状态观察（包括7个关节角度），动作数据（7个关节控制），和笛卡尔状态观察（包括末端执行器位置和四元数）。标签表明数据集在IsaacLab环境中生成，运行于x86_64平台，日期为2026-05-27。This dataset is a robotics dataset created using the LeRobot framework, specifically for UR5 robot demonstrations in a deformable stacked cuboid insertion task (environment: UR5-Deformable-StackedCuboid-Insertion-v0). It contains 1 total episode, 3600 total frames, and 1 total task, with data stored in Parquet format. The total data file size is 100MB, video file size is 200MB, and the frame rate is 30fps. Features include timestamp, frame index, episode index, index, task index, as well as image observations from a side camera (cam_side2) and a color camera (cam_color) with a resolution of 512x512x3, robot state observations (including 7 joint angles), action data (7 joint controls), and Cartesian state observations (including end-effector position and quaternion). Tags indicate that the dataset was generated in an IsaacLab environment, running on an x86_64 platform, with a date of 2026-05-27.

搜集汇总

数据集介绍

构建方式

在机器人灵巧操作的研究疆域中，精准插拔任务始终是衡量算法鲁棒性的重要标杆。本数据集依托于NVIDIA Isaac Lab仿真平台，以UR5机械臂为执行载体，通过LeRobot框架记录了一次成功的可变形堆叠立方体插入操作全过程。数据采集涵盖3,600帧连续状态，以30帧/秒的速率同步捕捉多模态信息，并将全部数据划归为单一训练集，确保轨迹的完整性与连贯性。构建时遵循标准化Chunk分块策略，将特征与视频数据分别存储于Parquet与MP4文件中，兼顾了高效读写与视觉信息的高保真度。

特点

该数据集最显著的特质在于其高度结构化的多模态对齐能力。视觉层面配备双向摄像头——侧视与彩色相机，均以512×512像素分辨率录制H.264编码视频，提供了互补的空间视角。状态空间则精细刻画了UR5的7个关节角度与末端执行器的笛卡尔位姿（包含位置与四元数表示），而动作空间亦采用与关节状态相同的7维向量，形成了精密的状态-动作闭环。尤为珍贵的是，数据仅包含一次成功演示，共计3600帧，所有时间戳、帧索引与任务标签皆被完整留存，为模仿学习中的少样本泛化研究提供了纯净的基准素材。

使用方法

借助LeRobot生态，研究者可便捷地加载此数据集进行策略训练。首先通过Hugging Face数据集库导入，利用LeRobot框架的DataProcessor自动完成图像解码与状态归一化，将视频特征与关节动作流对齐为统一的张量序列。数据集预设了训练集划分，用户可直接调用`load_dataset`函数获取迭代器，将其注入行为克隆或扩散策略等算法中。在模型推理时，可依据环境标签`UR5-Deformable-StackedCuboid-Insertion-v0`在Isaac Lab中重建模拟场景，利用采集到的成功轨迹作为引导，复现精准的插入动作。

背景与挑战

背景概述

在机器人操作领域，高精度插拔任务一直是工业自动化和灵巧操作研究的核心课题之一。该数据集由DORLR团队于2026年5月创建，基于Isaac Lab仿真平台，使用UR5协作机械臂在UR5-Deformable-StackedCuboid-Insertion-v0环境中采集，专注于可变形堆叠立方体的插入操作。通过LeRobot框架记录单条成功示范轨迹，包含3600帧、分辨率为512×512的双视角视觉图像（cam_color与cam_side2）、7维关节状态及笛卡尔空间位姿数据。该数据集为模仿学习与示教学习提供了高保真的仿真-真实迁移基准，推动了在非刚性物体交互场景下机器人技能泛化能力的研究。

当前挑战

该数据集所解决的领域核心挑战在于可变形叠放物体的精确插入操作，其非刚体特性使得传统基于刚性假设的控制策略难以应对物体形状动态变化带来的不确定性。构建过程中面临多重技术难题：仿真环境中可变形物体的物理参数标定需与现实高度一致；单条示范轨迹（仅1个episode）虽然质量可控，但样本量限制了策略的泛化能力；此外，从仿真到现实的迁移（Sim-to-Real）需克服视觉域差与动力学近似误差。手势末端笛卡尔空间状态与关节动作的同步记录亦要求数据采集系统具备精准的时空对齐能力，以确保训练数据的可靠性。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，高精度插入任务一直是衡量算法泛化性与鲁棒性的核心基准。teleop_isaaclab_ur5_insert_success_9_demo数据集专为UR5机械臂的变形体堆叠长方体插入任务而设计，提供了涵盖7维关节空间状态、笛卡尔末端位姿及多视角视觉观测的完整演示轨迹。该数据集最经典的用途在于训练基于模仿学习的策略，如行为克隆或扩散策略，使机器人能够从有限的成功演示中习得精细的插入技能。通过利用3600帧、30FPS的高频时序数据，研究者可评估模型在复杂接触动力学下的动作预测精度与长期任务成功率。

实际应用

在工业制造与精密装配场景中，该数据集为自动化部署可迁移操作技能提供了坚实的实验基础。基于此数据集训练的模型可直接迁移至数字孪生环境或真实UR5机器人，完成电子元件插件、柔性材料装配等标准化作业。数据集中精确的关节力矩与手爪开合信息，使得研究者可开发柔顺控制算法，实现在接触力约束下的自适应插入避碰。此外，通过结合视频流与状态观测，该数据集支撑了远程操作演示学习系统在物流分拣、医疗器械操作等低容错领域的安全应用，有效降低人工示教成本并提升产线柔性。

衍生相关工作

围绕本数据集衍生出一系列富有启发性的代表性工作。基于其多视角视觉与状态对齐特性，研究者提出了融合空间注意力机制的视觉-运动耦合策略，显著提升了变形体插入任务中的误差补偿能力。同时，该数据集推动了时序对比学习在机器人演示数据上的预训练范式，通过构造正负样本对挖掘动作序列的潜在模式，有效缓解小样本过拟合问题。更进一步，衍生工作探索了将单条演示轨迹解耦为抓取-调整-插入子技能的片段化学习框架，并结合因果推理识别关键决策阶段，为复杂长程任务的精细分解与模块化策略设计开辟了新路径。