UR7e_CaP_MultiTask_300epi_10fps_state_tplus1_action

这是一个公开的LeRobot v3.0多任务数据集，专为UR7e机器人的Code-as-Policies（代码即策略）操作设计。数据集整合了三个各100集、10fps的数据集，形成一个包含300集的训练语料库，并保留了原始的数字观察、动作和任务标签。所有视频以10fps的H.264 MP4格式存储。数据集包含来自顶部和腕部摄像头的RGB图像（分辨率480x640），动作用UR7e机器人的7维关节/夹爪绝对目标表示，语言标签包括任务指令和每帧的技能文本。具体任务包括：1. 将红、绿、蓝方块从左到右沿紫色线排列；2. 在蓝色盘子上堆叠方块，顺序为红色在底部、绿色在中间、蓝色在顶部；3. 拾取红色方块并将其放置在蓝色盘子上。此外，数据集还涉及基于未来观察到的机器人状态进行动作重写。

This is a public LeRobot v3.0 multi-task dataset for Code-as-Policies operations with the UR7e robot. The dataset combines three 100-episode, 10fps datasets into a 300-episode training corpus while retaining the original digital observations, actions, and task labels. The final uploaded version stores all videos as 10fps H.264 MP4 files. The dataset includes RGB images from top and wrist cameras (480x640 resolution), actions represented as 7-dimensional joint/gripper absolute targets for the UR7e robot, and language labels comprising task instructions and per-frame skill text. Specific tasks include: 1. Arranging red, green, and blue blocks from left to right along a purple line; 2. Stacking blocks on a blue plate with red at the bottom, green in the middle, and blue on top; 3. Picking up the red block and placing it on the blue plate. The dataset also involves action rewriting, where action columns are updated based on future observed robot states.

原始信息汇总

UR7e CaP MultiTask 300epi 10fps 数据集详情

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, UR7e, 多任务, Code-as-Policies, 操作 (Manipulation)

数据集概述

• 机器人型号: UR7e
• 数据格式: LeRobot v3.0
• 帧率: 10 FPS
• 总片段数: 300
• 总帧数: 152,926
• 摄像头:
  • observation.images.realsense_topview (顶视图, 480x640 RGB H.264)
  • observation.images.realsense_wrist (腕部, 480x640 RGB H.264)
• 动作: 绝对7维UR7e关节/夹爪目标 (action)
• 语言标签: 任务指令在 meta/tasks.parquet；逐帧技能文本在 skill.natural_language

任务组成

该数据集由三个100片段子数据集合并而成，每个子数据集对应一个具体任务：

任务	来源数据集	片段数	帧数	指令
排列积木 (arrange block)	CoRL2026-CSI/UR7e-CaP_arrange_block_100epi_10fps	100	47,116	将红色、绿色、蓝色积块沿紫色线从左到右排列
堆叠积木 (stack block)	CoRL2026-CSI/UR7e-CaP-Stack_Block-100epi_10fps	100	69,932	在蓝色碟子上堆叠：红色积块在底部，绿色积块在中间，蓝色积块在顶部
拾取与放置 (pick and place)	CoRL2026-CSI/UR7e_CaP_PickandPlace_100epi_10fps	100	35,878	拾起红色积块并放置在蓝色碟子上

数据来源与处理

• 数据整合: 使用SCRAPE-IsaacLab的LeRobot聚合包装器从三个源Hub仓库合并生成
• 视频编码统一: 原排列积木数据集的AV1编码视频被转码为H.264，确保最终上传数据集的视频编码一致
• 帧率规范: 排列积木源数据的视频元数据中标注 video.fps=30，合并副本被规范化为 video.fps=10，以满足LeRobot严格的特征模式检查
• 元数据: 详细来源修订版本、片段/帧范围及本地规范化细节见 meta/scrape_multitask_manifest.json

动作重新标注

本数据集对 action 列进行了重新标注，使用未来观测到的机器人状态：

• 公式: action[t] = observation.state[t + 1] (每个片段内)
• 终端处理: 最后一个帧的动作被钳制到最终观测状态
• 保留内容: 原始视频、任务、时间戳和特征模式均被保留