CoRL2026-CSI/UR7e_Ours_PickNPlace_100epi

该数据集是使用LeRobot创建的，专注于机器人领域的拾取放置任务，具体针对UR7e机器人。数据集包含100个episodes，总帧数为24993，数据文件大小为100MB，视频文件大小为200MB，帧率为10fps。数据特征包括：观测状态（7维关节位置）、动作（7维关节位置）、观测图像（来自手腕和顶部视角的RealSense相机，分辨率为480x640，3通道，视频格式）、技能类型（字符串）、技能进度（浮点数）、目标位置（关节、世界坐标、机器人坐标和夹爪位置）、自然语言指令（字符串）、末端执行器位置（机器人坐标）、夹爪二进制状态、时间戳、帧索引、集索引、索引和任务索引。数据集采用Apache 2.0许可证，但主页和论文信息缺失。This dataset was created using LeRobot and focuses on pick-and-place tasks in robotics, specifically for the UR7e robot. It contains 100 episodes, with a total of 24993 frames, a data file size of 100MB, a video file size of 200MB, and a frame rate of 10fps. The features include: observation state (7-dimensional joint positions), action (7-dimensional joint positions), observation images (from RealSense cameras at wrist and top-view, resolution 480x640, 3 channels, video format), skill type (string), skill progress (float), goal positions (joint, world coordinates, robot coordinates, and gripper position), natural language instruction (string), end-effector position (robot coordinates), gripper binary state, timestamp, frame index, episode index, index, and task index. The dataset is licensed under Apache 2.0, but homepage and paper information are missing.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架完成采集与封装，面向UR7e七自由度机械臂的抓取放置任务，共收录100个完整演示回合，累计24993帧，以10帧每秒的节拍组织为单一训练划分。原始数据按Parquet列式存储与MP4视频流协同归档，并配套meta/info.json描述模态结构与字段语义，从而在保持轨迹时序连续性的同时，实现状态、动作与视觉观测的高效耦合。

特点

数据集呈现出多模态协同标注的显著特征，既涵盖七维关节位置与动作指令，也同步记录腕部与俯视两路RealSense视频流。进阶之处在于其技能级语义标注，包括skill.type、skill.progress、多种坐标系下的目标位姿以及自然语言描述，为策略学习提供了从低层控制到高层任务意图的完整监督信号，并兼容控制器期望动作与末端位姿观测的联合建模。

使用方法

在LeRobot生态内，该数据集可直接加载为标准化训练样本，用户借助HuggingFace可视化空间浏览回合回放，或依据data_path与video_path模板解析Parquet与MP4文件。训练时可按episode_index与frame_index对齐观测与动作序列，并结合skill.natural_language与目标位姿构建模仿学习或条件策略，fps与chunks_size等元信息则用于批次划分与视频解码配置。

背景与挑战

背景概述

在机器人学习与具身智能领域，高质量的真实世界操作数据集是驱动算法泛化的核心基石。UR7e_Ours_PickNPlace_100epi数据集由CoRL2026-CSI团队依托LeRobot框架构建，于2026年前后发布，聚焦UR7e机械臂在抓取放置任务中的多模态感知与技能建模。该数据集采集100个回合、近2.5万帧、10Hz频率的同步数据，涵盖腕部与俯视双视角RGB视频流、七自由度关节状态、末端位姿及技能类型、进度、目标位置与自然语言指令等丰富标注，核心研究问题在于为机器人技能学习提供结构化、可解释的监督信号，其分层技能表示对操作策略泛化与语言条件控制研究具有显著推动作用。

当前挑战

该数据集所应对的领域问题在于真实机器人抓取放置任务中技能分解、多模态对齐与语言条件策略学习的固有困难，传统数据集往往缺乏细粒度技能标注与目标位置监督，难以支撑可解释的技能级模仿学习。构建过程中，同步采集双路视频与高频关节状态、保持时间戳精确对齐、设计技能类型与进度标注协议、统一世界坐标系与机器人坐标系下的目标位姿描述，均对硬件标定与数据流水线提出严苛要求。此外，自然语言指令与底层动作的语义映射、单任务下百回合演示的多样性控制，亦是数据采集阶段需持续权衡的关键挑战。

常用场景

经典使用场景

在机器人学习与具身智能领域，抓取与放置任务始终是检验算法泛化能力与操作精度的试金石。UR7e_Ours_PickNPlace_100epi数据集依托UR7e机械臂平台，通过100条真机演示轨迹、近两万五千帧的多模态同步记录，为模仿学习与视觉-语言-动作模型提供了高质量的监督信号。其经典使用场景在于以双视角RGB视频流为视觉输入，结合本体关节状态与末端笛卡尔位姿，驱动策略网络习得端到端的抓放技能，尤其适用于比较不同控制器期望信号对动作平滑性与任务成功率的影响。

解决学术问题

该数据集直面机器人示教学习中的若干核心难题：动作空间异构性导致的跨本体迁移困难、多模态观测与技能语义之间的对齐薄弱、以及长时序任务中进度估计与目标条件的稀疏监督问题。通过同步记录技能类型、技能进度、关节空间与笛卡尔空间的目标位置，以及自然语言描述，它为研究技能分层、目标条件策略学习与多模态表征对齐提供了可复用的基准，推动了从纯运动学模仿向语义引导的技能学习范式演进。

衍生相关工作

以该数据集为基础，后续工作多围绕LeRobot生态展开，包括基于扩散策略与动作分块Transformer的抓放策略复现、利用技能进度标签进行分层强化学习的分段奖励设计，以及引入自然语言条件实现指令跟随的视觉-语言-动作模型微调。这些衍生研究进一步将该数据集拓展至多任务泛化、跨机械臂本体迁移与真实环境鲁棒性评估等方向，形成了从数据采集到策略部署的完整研究链条。