DORLR/teleop_isaaclab_ur5_udsci_success_16_demo

该数据集是一个用于机器人学任务的数据集，专门针对UR5机器人执行变形堆叠长方体插入任务（环境标识：UR5-Deformable-StackedCuboid-Insertion-v0）。数据集使用LeRobot框架创建，包含2个完整episodes，总计2320帧，帧率为30fps。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集特征包括：时间戳、帧索引、episode索引、任务索引；观察部分包括来自两个摄像头（cam_side2和cam_color）的图像，分辨率均为512x512x3，以及机器人的关节状态（7个关节角度）和笛卡尔状态（末端执行器位置和四元数姿态）；动作部分包含7个关节的控制指令。数据集适用于机器人控制、强化学习或模仿学习等研究，标签信息表明其创建于2026年5月28日，运行在x86_64平台的机器人服务器上。This dataset is tailored for robotics research, specifically targeting the deformable stacked cuboid insertion task executed by the UR5 robot (environment identifier: UR5-Deformable-StackedCuboid-Insertion-v0). It was constructed using the LeRobot framework, containing 2 complete episodes with a total of 2320 frames at a frame rate of 30 fps. The dataset is stored in Parquet file format, with a total data file size of 100 MB and a video file size of 200 MB. Dataset features include timestamps, frame index, episode index, and task index. The observation space comprises images captured by two cameras (cam_side2 and cam_color), both with a resolution of 512x512x3, as well as the robot’s joint states (7 joint angles) and Cartesian states (end-effector position and quaternion pose). The action space contains control commands for the 7 joints. This dataset is suitable for research in robot control, reinforcement learning, and imitation learning. The label information indicates that it was created on May 28, 2026, and runs on a robotic server with an x86_64 platform.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精准的遥操作数据是训练智能体执行复杂任务的基础。本数据集依托于LeRobot框架，在Isaac Lab仿真环境中构建，以UR5机械臂为核心平台，专注于可变形堆叠长方体插入任务（UR5-Deformable-StackedCuboid-Insertion-v0）。数据集通过遥操作方式采集了2个成功演示回合，总计2320帧的轨迹数据，每个回合均包含完整的机器人状态与动作序列。所有数据被分割为1000帧大小的块，以Parquet格式存储高效的结构化信息，同时将高维视觉观测以MP4视频形式压缩保存，实现了存储效率与数据完整性的平衡。

特点

本数据集的核心特色在于其多模态、高保真的数据构成。在状态空间中，它不仅涵盖了UR5机械臂的7个关节角度（如肩关节、肘关节及手指关节），还同时提供了7维的笛卡尔末端执行器位姿信息（位置与四元数），为策略学习提供了丰富的运动学参考。视觉观测方面，数据集配备了双视角RGB摄像头（cam_side2与cam_color），均以512x512分辨率、30帧每秒的帧率录制，确保了场景感知的立体性与细节保真度。此外，数据集通过详尽的时间戳、帧索引与任务索引，为序列建模和时间对齐提供了便利。

使用方法

本数据集专为机器人模仿学习与行为克隆研究而设计，用户可借助LeRobot库快速加载与解析数据。推荐的使用路径是直接访问HuggingFace上提供的交互式可视化工具，在运行前直观预览轨迹内容与传感器流。在具体应用中，研究人员应将数据集划分为训练集（本数据集已预设全量用于训练），利用'observation.state'与'observation.images'作为模型输入，以'action'作为监督信号进行端到端策略训练。数据以块（chunk）为单位组织，便于分布式处理，用户可通过数据路径与视频路径索引指定片段，灵活构建个性化的训练流水线。

背景与挑战

背景概述

该数据集诞生于机器人学习与灵巧操作研究的前沿领域，由DORLR团队基于LeRobot框架与Isaac Lab仿真平台构建，聚焦于UR5机械臂在可变形物体堆叠与插入任务中的遥操作数据采集。数据集创建于2026年，围绕高精度、高鲁棒性的机器人操作技能学习这一核心问题，通过采集16个成功示范轨迹，为模仿学习与行为克隆算法提供了宝贵的多模态训练资源。其开源许可与标准化结构进一步推动了机器人领域数据共享与算法复现的进程，有望在精细化操作、人机协作等场景中发挥重要影响。

当前挑战

该数据集面临的核心挑战在于解决可变形物体堆叠与插入这一高度非结构化的操作问题，物体的几何与物理特性变化极大，对控制算法的泛化能力提出了严苛要求。在构建过程中，如何通过遥操作高效采集高质量的成功示范数据、确保机械臂关节空间与笛卡尔空间状态的精确同步，以及处理多视角视觉输入与触觉反馈的融合，均是技术难点。此外，数据集的规模相对有限，仅含2个完整任务回合，这使得模型在应对真实环境中的分布偏移与细微扰动时显得尤为困难。

常用场景

经典使用场景

在机器人学习与操作领域，teleop_isaaclab_ur5_udsci_success_16_demo数据集为模仿学习与行为克隆研究提供了精致的数据基石。该数据集通过遥操作手段，采集了UR5机械臂在Isaac Lab仿真环境中执行可变形堆叠长方体插入任务的成功演示轨迹，涵盖了关节角度、末端执行器笛卡尔位姿以及多视角视觉影像等关键模态信息。研究者可依托此数据，训练策略网络从专家示范中提取最优操控策略，尤其适用于高精度、可变形目标物的灵巧操作场景，为复杂装配任务的自动化奠定基础。

衍生相关工作

该数据集作为LeRobot生态系统的重要组成部分，衍生并推动了多项前沿研究工作。基于此数据，研究者开发了面向可变形物体的奖励函数自动生成方法、融合视觉与触觉信息的动作片段编码器，以及通过域随机化增强策略对实体环境偏移的鲁棒性。此外，该数据集还启发了多阶段任务分解技术，将复杂的插入操作拆解为对齐、推挤与释放等子技能，并将学习的模块化策略组合应用于UR5平台之外的不同机械臂构型，拓展了跨形态迁移学习的实验边界。

数据集最近研究

最新研究方向

在灵巧操作与仿真到现实迁移的前沿探索中，基于Isaac Lab构建的UR5机械臂数据集teleop_isaaclab_ur5_udsci_success_16_demo，聚焦于可变形体与堆叠立方体插入这一复杂装配任务。该数据集通过遥操作采集了成功演示轨迹，融合了关节空间状态、笛卡尔位姿与多视角视觉观测，为机器人学习中的模仿学习与行为克隆提供了高保真训练素材。其与LeRobot生态的深度集成，以及多模态特征（含512×512高清视频与7维关节动作）的标准化设计，正推动着具身智能领域从简单抓取向精细装配的范式跃迁。作为当前工业机器人操作学习的热点，此类数据集不仅支撑了端到端策略的泛化能力验证，更在柔性物体操控这一长期挑战中开辟了新路径，对智能制造的自动化升级具有里程碑意义。