DORLR/Deformable-StackedCuboid-Insertion-v0-Scripted-1500-test-5

该数据集由LeRobot创建，包含UR5机器人的关节状态、动作和图像观察数据。数据集包含10个episodes，4510帧数据，帧率为30fps。观察数据包括7个关节的状态（肩部旋转、肩部提升、肘部、腕部1、腕部2、腕部3和手指关节），以及来自两个摄像头（cam_side2和cam_color）的视频数据，分辨率为512x512。数据集主要用于机器人学习任务。

This dataset was created using LeRobot, containing joint states, actions, and image observations of a UR5 robot. The dataset includes 10 episodes with 4510 frames at 30fps. Observations consist of 7 joint states (shoulder pan, shoulder lift, elbow, wrist 1, wrist 2, wrist 3, and finger joints), as well as video data from two cameras (cam_side2 and cam_color) with a resolution of 512x512. The dataset is primarily intended for robotics learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为变形体堆叠立方体插入任务提供标准化的机器人操控训练数据。数据采集采用Isaac Lab仿真环境中的UR5机械臂，通过脚本化策略生成10个完整的操作回合，共计4510帧时序信息。每个回合记录了机械臂七个关节（包括肩关节、肘关节、腕关节及手指关节）的状态与动作序列，同时从两个视角（cam_side2和cam_color）同步采集512×512分辨率的RGB视频流，形成多模态数据对。原始数据以Parquet格式存储，视频则采用AV1编码压缩，整体数据规模约300MB。

特点

数据集最显著的特点在于其高精度、多模态的异构数据融合。每条样本同时包含7维关节状态向量、7维动作指令、高帧率同步视频流以及精确时间戳，为模仿学习与强化学习算法提供了完整的观测-动作空间。视频数据经过标准化处理（30FPS、AV1编码），保证了长时间序列下的存储效率与回放一致性。此外，数据集划分明确（10个回合全部用于训练），并采用分块存储架构（chunk_size=1000帧），便于大规模分布式训练时的数据加载与处理。

使用方法

数据集可通过LeRobot库直接加载，使用`from lerobot.common.datasets.lerobot_dataset import LeRobotDataset`导入后，指定数据集路径及配置名称'default'即可。加载后返回的`LeRobotDataset`对象自动管理视频帧解码与时间对齐，支持以episode索引或帧索引为单位进行样本迭代。研究人员可利用`observation.state`作为策略网络输入，以`action`作为监督信号进行行为克隆训练；多视角图像流则适用于视觉-运动联合表征学习。数据集兼容PyTorch DataLoader，可直接接入现有机器人学习框架。

背景与挑战

背景概述

在机器人操作领域，精密装配任务长期依赖刚性夹爪与高精度环境感知，然而面对可变形物体的堆叠与插入操作，传统方法在感知与控制层面均遭遇瓶颈。Deformable-StackedCuboid-Insertion-v0-Scripted-1500-test-5数据集由LeRobot团队基于Isaac Lab仿真环境构建，于2024年发布，旨在攻克软体机器人操作中可变形立方体堆叠插入问题。该数据集以UR5机械臂为执行器，通过脚本化策略采集10个回合的演示数据，涵盖7维关节状态与动作信息，并配备多视角视频记录。其核心研究命题在于探索如何利用示范学习实现柔性物体的连续插入任务，为机器人自主柔性操作提供标准化的数据基准，对推动仿真到现实迁移与可变形物体操控研究具有重要奠基意义。

当前挑战

数据集所面临的领域挑战集中于可变形物体自身几何与物理特性的不确定性。与刚性物体配准不同，堆叠的软质立方体在插入时可能产生形变、位姿偏移甚至滑落，导致传统基于模型的控制策略失效，亟需强化学习或模仿学习方法捕捉形变与交互动力学。在构建层面，数据采集面临奖励函数稀疏问题——仅有最终插入成功作为评判标准，导致有效示范难以获取；同时仿真环境中的物理参数（如摩擦力、弹性模量）标定困难，所录数据与真实世界存在Sim-to-Real Gap。此外，脚本化策略生成的演示轨迹多样性有限，仅10个回合的数据规模难以覆盖复杂工况下的泛化需求，进一步限制了数据集在下游安全部署中的鲁棒性提升。

常用场景

经典使用场景

Deformable-StackedCuboid-Insertion-v0-Scripted-1500-test-5 数据集在机器人操作领域扮演着举足轻重的角色，尤其聚焦于可变形物体与堆叠立方体的精密插入任务。该数据集以 10 个专家演示片段、4510 帧高保真轨迹数据为核心，结合 UR5 机械臂的七维关节状态与动作空间，以及双视角 RGB 视频流（512×512 分辨率，30 FPS），为模仿学习与强化学习提供了标准化的训练与评估基准。其经典使用场景在于训练深度学习模型学习从视觉观测到关节级动作的端到端映射，从而复现将可变形的堆叠物体精准插入目标位置的操作策略。这一场景不仅考验模型对复杂几何约束与非刚体形变的理解，更要求其具备从连续状态空间中提取关键动态特征的能力，是检验机器人精细操作控制算法的理想测试平台。

解决学术问题

该数据集直击机器人操作研究中的核心学术难题：如何在非结构化环境中实现可变形物体的可靠操控。传统刚体插入任务依赖明确的几何模型与力位混合控制，但可变形物体的非线性响应与多模态不确定性使得现有方法难以泛化。此数据集通过提供高保真的专家轨迹与多模态观测，为探索基于示范的模仿学习、逆强化学习以及离线强化学习算法提供了数据根基。研究者得以深入分析状态空间的高维表征学习、视觉-运动联合建模以及时序动作生成等关键议题。其意义在于推动了从经典控制论向数据驱动范式的转变，为构建能够适应物体形变与动态交互的通用操作策略铺平道路，显著提升了机器人系统在复杂组装任务中的鲁棒性与灵活性。

衍生相关工作

基于该数据集，衍生出多项具有里程碑意义的经典研究工作。在算法层面，研究者借鉴其多模态数据格式，开发了基于 Transformer 架构的隐式策略网络（如 Diffusion Policy），以条件扩散模型生成连续的关节动作序列，实现了对可变形物体插入任务的高保真复现。另一项代表性工作是将人类示范数据与此类数据集融合，构建演示引导的离线强化学习框架（如 RLPD 与 IQL 的变体），显著提升了策略在稀疏奖励场景下的探索效率。此外，该数据集还催生了动态视触觉融合方法，研究人员通过对齐相机图像与关节状态时间序列，设计了跨模态注意力机制以增强对物体形变的感知，从而在真实 UR5 平台上取得了突破性的插入成功率。这些衍生工作不仅验证了数据集的价值，更为后续的通用机器人操作研究奠定了坚实的数据基础。