CoRL2026-CSI/UR7e_Ours_SortBlocks_25epi

该数据集是通过LeRobot创建的，专注于机器人控制任务，具体涉及UR7e机器人执行排序积木操作。数据集包含25个episodes，总计14070帧，数据以10fps的帧率采集。特征包括机器人关节状态（7个自由度）、动作指令、来自顶部和手腕摄像头的视频观测（分辨率480x640，RGB格式），以及技能相关信息如技能类型、进度、目标位置（关节和世界坐标系）和自然语言指令。数据集结构以parquet文件格式存储，适用于机器人学习和模仿学习研究。This dataset was created using LeRobot and focuses on robotics control tasks, specifically involving a UR7e robot performing block sorting operations. It contains 25 episodes with a total of 14,070 frames, captured at a frame rate of 10 fps. Features include robot joint states (7 degrees of freedom), action commands, video observations from top-view and wrist cameras (resolution 480x640, RGB format), and skill-related information such as skill type, progress, goal positions (in joint and world coordinates), and natural language instructions. The dataset is structured in parquet file format and is suitable for robotics learning and imitation learning research.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量演示数据集的构建对于模仿学习与技能泛化至关重要。该数据集基于LeRobot框架采集，以UR7e机械臂为核心平台，针对积木分类任务（SortBlocks）采集了25个完整演示片段（episode），总计含14070帧状态-动作对。数据以parquet格式存储结构化信息，涵盖7维关节角度与夹爪位置构成的观测状态及对应动作指令；同时利用两台Realsense相机（顶视与腕部视角）以10 FPS帧率采集640×480分辨率的H.264编码视频，为视觉-运动策略学习提供多视角感知输入。数据集按1000帧粒度进行分块存储，确保高效加载与流式处理。

使用方法

研究者可通过LeRobot工具链直接加载与可视化该数据集。使用`lerobot.Dataset`接口指定数据集标识符`CoRL2026-CSI/UR7e_Ours_SortBlocks_25epi`即可按需访问训练数据，数据已预划分训练集（0-25个episode）。对于潜在地利用视觉输入的模型，可调用内置视频解码器高效读取Realsense顶视与腕部视频流；而结构化标注字段（如目标位姿与自然语言描述）则支持构造多模态条件策略。数据集遵循Apache-2.0许可协议，支持在学术研究与工业应用中自由使用，其紧凑的25个episode规模特别适合快速原型验证与小样本学习实验。

背景与挑战

背景概述

在机器人操作领域，数据驱动的学习方法正逐步取代传统基于模型的控制范式，然而高质量、多样化的演示数据集却极为稀缺。UR7e_Ours_SortBlocks_25epi数据集由CoRL2026-CSI团队创建，旨在为UR7e机械臂的精细操作任务提供标准化训练素材。该数据集聚焦于分拣方块这一典型工业场景，通过25个回合、共计14070帧的高频（10Hz）演示，完整记录了机械臂从关节状态、末端执行器位姿到多视角视觉输入（顶部及腕部Realsense相机）的丰富信息。数据集的诞生为模仿学习、行为克隆等算法的训练与评估奠定了坚实基础，对推动机器人从实验室环境向实际工业应用迁移具有重要意义。

当前挑战

该数据集所解决的领域挑战主要包括：其一，单任务泛化难题——分拣动作虽看似基础，但方块位置、姿态的细微差异要求算法具备高度鲁棒性，而数据集仅含单一任务，难以覆盖真实场景中的变体；其二，数据效率瓶颈——仅25个回合的演示远不足以支撑复杂深度模型的训练，亟需通过数据增强或迁移学习弥补。构建过程中亦面临挑战：首先，高精度运动轨迹与多模态观测（状态、图像、语言指令）的同步记录对硬件同步与时序对齐提出严苛要求；其次，机械臂与传感器标定的微小误差可能导致数据与真实物理状态间存在偏差，影响下游策略的复现精度。

常用场景

经典使用场景

在机器人操作与模仿学习研究领域，UR7e_Ours_SortBlocks_25epi数据集专注于分拣方块这一精细操作任务，为基于视觉与状态信息的机器人技能学习提供了高质量范例。该数据集通过UR7e机械臂在真实环境中采集25个完整演示回合，包含多视角视觉图像（顶视与腕部摄像头）以及关节位置、末端执行器位姿、夹爪状态等15类特征，尤其记录了技能类型（skill.type）与自然语言描述（skill.natural_language），使其成为研究多模态融合、任务分解及语言条件化机器人控制的理想基准。研究者可借助LeRobot框架直接加载数据，用于训练从状态到动作的端到端策略模型，或验证视觉运动策略的泛化能力。

解决学术问题

该数据集系统性地回应了机器人领域数据稀缺与技能泛化两大核心挑战。通过提供结构化的演示轨迹与技能元数据（如目标位置与进度），它使学者能够深入探索基于示教的模仿学习在部分可观测环境下的表现，尤其解决了非结构化分拣任务中如何从高维视觉输入鲁棒地映射到连续动作空间的关键问题。此外，数据集中包含的skill.progress变量为研究细粒度操作技巧的时序分割与组合提供了数据支撑，推动了关于长期任务规划与技能复用机制的学术讨论。这一贡献显著降低了复现基线方法的门槛，加速了机器人在复杂装配场景中稳健运动生成的研究进程。

实际应用

在实际产业场景中，该数据集蕴含的方法论直接服务于精密装配与物流分拣等自动化环节。利用其中记录的夹爪状态与腕部图像，可训练机械臂在柔性产线上识别不同尺寸的方块并执行自适应抓取，减少对硬编码轨迹的依赖。同时，通过自然语言标签与技能类型字段，该数据集为构建人机协作系统提供了基础，使操作员能够以口语指令动态调整机器人的分拣策略，如“将蓝色方块放置于右侧料箱”。这种从演示到部署的数据驱动范式，为中小型制造企业提供了低成本、易迁移的智能改造方案，显著提升了产线换产时的调试效率。

数据集最近研究

最新研究方向

该数据集聚焦于UR7e机械臂在分拣积木任务上的精细化操作，依托LeRobot开源平台采集了25个完整回合的机器人操控数据。当前前沿研究正围绕技能泛化与多模态融合展开，数据集不仅记录了关节角度与夹爪状态，还包含顶视与腕部双视角视觉流、自然语言指令及目标位姿等丰富信息，为模仿学习、具身智能体的语言引导操控以及端到端控制策略的泛化验证提供了高质量基准。特别是在大语言模型赋能机器人规划的浪潮下，此类融合状态、语言与多视角观测的数据集，正成为连接语义理解与物理交互的关键桥梁，推动着机器人从固定程序向自适应、可交互的智能操控范式跃迁。