遇见数据集

DORLR/teleop_isaaclab_ur5_udsci_success_13_demo

收藏
Hugging Face2026-05-28 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是使用LeRobot工具创建的机器人演示数据集,专门针对UR5机器人在可变形堆叠长方体插入环境(UR5-Deformable-StackedCuboid-Insertion-v0)中的操作任务。数据集包含2个完整演示片段,总计5730帧数据,覆盖1个任务类型。数据以30fps录制,特征包括来自两个摄像头(cam_side2和cam_color)的512x512分辨率图像观测、7维关节状态(肩部、肘部、腕部等关节)、7维笛卡尔状态(末端执行器位置和四元数姿态)以及7维动作控制信号。数据存储为Parquet格式,适用于机器人学习、模仿学习或强化学习研究。

许可证:apache-2.0 任务类别: - 机器人学 标签: - LeRobot - isaaclab_ur5 - robotis - env:UR5-可变形堆叠长方体插入-v0 - isaaclab:1e1a6395 - 主机:robotics-server-1 - 日期:2026-05-28 - 平台:x86_64 配置项: - 配置名称:默认 数据文件:data/*/*.parquet 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=DORLR/teleop_isaaclab_ur5_udsci_success_13_demo"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "isaaclab_ur5", "总回合数": 2, "总帧数": 5730, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "帧率": 30, "划分方式": { "训练集": "0:2" }, "数据路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征项": { "时间戳": { "数据类型": "float32", "形状": [ 1 ], "字段名": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "观测.图像.cam_side2": { "数据类型": "video", "字段名": [ "高度", "宽度", "通道数" ], "形状": [ 512, 512, 3 ], "附加信息": { "视频.高度": 512, "视频.宽度": 512, "视频.通道数": 3, "视频.编码格式": "libx264", "视频.像素格式": "yuv420p" } }, "观测.图像.cam_color": { "数据类型": "video", "字段名": [ "高度", "宽度", "通道数" ], "形状": [ 512, 512, 3 ], "附加信息": { "视频.高度": 512, "视频.宽度": 512, "视频.通道数": 3, "视频.编码格式": "libx264", "视频.像素格式": "yuv420p" } }, "观测.状态": { "数据类型": "float32", "字段名": [ "肩摆关节", "肩升关节", "肘关节", "腕1关节", "腕2关节", "腕3关节", "手指关节" ], "形状": [ 7 ] }, "动作": { "数据类型": "float32", "字段名": [ "肩摆关节", "肩升关节", "肘关节", "腕1关节", "腕2关节", "腕3关节", "手指关节" ], "形状": [ 7 ] }, "观测.笛卡尔状态": { "数据类型": "float32", "字段名": [ "末端执行器X坐标", "末端执行器Y坐标", "末端执行器Z坐标", "末端执行器四元数X分量", "末端执行器四元数Y分量", "末端执行器四元数Z分量", "末端执行器四元数W分量" ], "形状": [ 7 ] } }, "标签": [ "isaaclab_ur5", "robotis", "env:UR5-可变形堆叠长方体插入-v0", "isaaclab:1e1a6395", "主机:robotics-server-1", "日期:2026-05-28", "平台:x86_64" ] } ## 引用 **BibTeX格式:** bibtex [需补充更多信息]

提供机构:
DORLR
搜集汇总
数据集介绍
DORLR/teleop_isaaclab_ur5_udsci_success_13_demo 数据集图片
构建方式
该数据集基于LeRobot框架构建,旨在为机器人操控任务提供高质量的演示数据。通过遥操作(teleoperation)方式,在Isaac Lab仿真环境中控制UR5机械臂完成‘UR5-Deformable-StackedCuboid-Insertion-v0’任务,即对可变形堆叠立方体进行精确插入操作。数据集仅收录成功的演示轨迹,最终包含2个完整episode,共计5730帧数据,采样频率为30帧/秒。所有数据以Parquet格式存储,视觉信息则编码为H.264视频,图像分辨率为512×512像素,确保数据的高保真度与可复现性。
使用方法
数据集可直接通过Hugging Face的LeRobot库加载与可视化,用户可使用`lerobot`的API读取Parquet与视频文件。数据被分割为1000帧的chunks以优化内存管理,便于分块训练。推荐用于模仿学习或行为克隆任务:以`observation.state`和`observation.images`为输入,预测7维关节动作`action`。研究者可通过Hugging Face Spaces中的可视化工具快速预览数据,或结合Isaac Lab环境进行仿真验证,提升模型在精密操控任务上的泛化能力。
背景与挑战
背景概述
该数据集由DORLR团队于2026年创建,基于LeRobot框架和Isaac Lab仿真平台,聚焦于UR5机械臂在可变形的堆叠立方体插入任务(UR5-Deformable-StackedCuboid-Insertion-v0)中的遥操作演示。核心研究问题在于探索机器人对复杂形状变形物体的精细操作能力,特别是在高自由度(7个关节)与多模态感知(包括两个512×512的RGB相机与关节状态)条件下的策略学习。作为机器人学习领域的数据驱动方法范例,该数据集通过仅包含成功轨迹的13个演示(约5730帧),为模仿学习或离线强化学习提供了高质量训练素材,对推动非刚性物体操作技能迁移研究具有潜在价值。
当前挑战
该数据集主要挑战包括:1)领域问题方面,可变形物体(如堆叠立方体)的物理特性复杂,形状变化与接触力学难以精确建模,导致传统的运动规划方法难以泛化;同时任务要求对多体耦合系统进行精准插入操作,对末端执行器位姿的精度提出极高要求。2)构建过程中,遥操作演示需克服仿真环境中物理引擎的不确定性(如Isaac Lab参数版本1e1a6395),且成功轨迹的筛选与标注极为耗时,仅收集到2个有效episode(13个演示),样本稀疏性增加了策略学习难度;此外,高分辨率视频(512×512)与7维动作空间的同步采集对数据存储和压缩提出了挑战。
常用场景
经典使用场景
该数据集专为机器人操作任务中的模仿学习研究而设计,其核心使用场景聚焦于基于视觉与关节状态的精细操控技能获取。依托Isaac Lab仿真环境与UR5机械臂平台,数据集采集了在‘可变形堆叠立方体插入’这一复杂任务中的成功演示数据。包含高分辨率视觉图像(cam_side2和cam_color)、七维关节状态、笛卡尔位姿及对应动作序列,为从人类示范中学习鲁棒的控制策略提供了高质量的监督信号。研究者可利用这些多模态观测数据训练端到端的神经网络策略,如行为克隆或逆动力学模型,使机械臂能够复现从初始状态到目标状态的精确操作轨迹,尤其适用于处理物体变形、堆叠和插入等非刚体交互场景中的策略学习。
解决学术问题
该数据集直面机器人学习领域中长期存在的‘数据稀缺’与‘任务泛化性不足’两大核心瓶颈。在学术研究中,基于强化学习的策略训练常因探索空间过大而收敛缓慢,而该数据集的成功演示为策略初始化提供了高质量的先验知识,显著加速了学习进程。同时,它解决了在非结构化环境中进行变形体操控的难题,例如堆叠立方体因形变导致的位姿不确定性。通过提供高保真度的仿真演示数据,该数据集推动了从单一技能模仿到复杂任务泛化的研究,使学者能够系统性地探索多任务学习、少样本适应性及跨实体迁移等关键问题。其意义在于为操作策略的泛化性能验证提供了标准化基准,进而降低了对真实机器人重复训练的硬件依赖性。
实际应用
在实际应用层面,该数据集为工业装配与物流分拣等场景中的柔性自动化提供了直接的技术支撑。在精密工业装配中,利用该数据集训练的智能策略可引导UR5机械臂高效完成诸如电子元件的堆叠插入或线束整理等任务,显著提升产线对异形工件和变形材料的适应能力。此外,在仓储物流领域,该成果可赋能机器人处理不规则包装的堆叠与码放,减少因物体形变导致的抓取失败率。由于数据完全在仿真环境(Isaac Lab)中生成,企业无需承担高昂的真机数据采集成本,便能低风险地验证和部署先进操控算法,从而缩短从实验室研发到车间应用的转化周期。
数据集最近研究
最新研究方向
当前,机器人操作领域正经历从刚性物体操作向可变形物体精细操控的范式跃迁。teleop_isaaclab_ur5_udsci_success_13_demo数据集聚焦于UR5机械臂对可变形堆叠立方体的插入任务,依托Isaac Lab仿真环境与LeRobot框架,为模仿学习与强化学习研究提供了高保真遥操作演示数据。该数据集盛载双视角视觉观测、关节状态及笛卡尔空间位姿信息,共计2个完整片段及5730帧轨迹,其技术路线与NVIDIA近期推动的仿真到现实迁移研究紧密呼应,尤其是在软体机器人控制与装配精度领域。通过公开这类可变形物体操控的示范数据,研究者得以深入探索接触动力学建模与技能泛化的底层机制,对推动非结构化环境下机器人自主装配的工程边界具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务