rubber_duck_ur5

该数据集是一个基于LeRobot平台创建的机器人演示数据集，包含25个完整的演示序列（episodes），总计2455帧数据，对应单一任务。数据以Parquet文件格式存储，总数据量约100MB，并附带总大小约500MB的配套视频文件（视频帧率为10fps）。数据集仅提供训练集。每条记录包含多模态信息：观测部分包括两个视角的图像（主图像分辨率为320x320，腕部图像分辨率为720x1280）和一个7维的机器人状态向量（包含6个关节位置和1个夹爪状态）；动作部分为一个7维的指令向量（结构与状态向量对应）。此外，记录还包含时间戳、帧索引、episode索引、全局索引和任务索引等元数据。该数据集适用于机器人模仿学习、视觉-动作策略学习等研究任务。This dataset is a robotic demonstration dataset developed based on the LeRobot platform. It comprises 25 complete demonstration episodes, totaling 2455 frames of data, all aligned to a single task. The core dataset is stored in Parquet file format, with an approximate total size of 100 MB, and is accompanied by supplementary video files with a combined size of around 500 MB (video frame rate: 10 fps). Only the training split is provided for this dataset. Each record contains multimodal data: the observation module includes two-view images (the main camera image has a resolution of 320×320, and the wrist-mounted camera image has a resolution of 720×1280) and a 7-dimensional robotic state vector consisting of 6 joint positions and 1 gripper state. The action module is a 7-dimensional command vector with a structure consistent with that of the state vector. Additionally, the records include metadata such as timestamps, frame index, episode index, global index, and task index. This dataset is suitable for research tasks such as robotic imitation learning and visual-action policy learning.

原始信息汇总

数据集概述

该数据集是一个机器人操作数据集，使用 LeRobot 框架创建，用于机器人模仿学习等任务。

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 机器人类型: UR5e
• 数据格式: Parquet 文件（数据）和 MP4 文件（视频）

数据集规模

• 总片段数 (Episodes): 25
• 总帧数 (Frames): 2455
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率 (FPS): 10
• 数据分块大小: 每块 1000 帧

数据划分

• 训练集 (Train): 片段索引 0 到 24（共 25 个片段），所有数据均用于训练，无验证/测试集划分。

数据特征 (Features)

每条记录包含以下字段：

• observation.images.image: 主摄像头图像，尺寸为 320x320，3 通道 RGB。
• observation.images.wrist_image: 腕部摄像头图像，尺寸为 720x1280，3 通道 RGB。
• observation.state: 机器人状态，包含 7 个元素：6 个关节位置（joint0 至 joint5）和夹爪状态（gripper），数据类型为 float32。
• action: 动作指令，与状态维度一致，包含 6 个关节位置和夹爪控制，数据类型为 float32。
• timestamp: 时间戳，float32 类型，形状为 [1]。
• frame_index: 帧索引，int64 类型，形状为 [1]。
• episode_index: 片段索引，int64 类型，形状为 [1]。
• index: 全局索引，int64 类型，形状为 [1]。
• task_index: 任务索引，int64 类型，形状为 [1]。

数据文件路径结构

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

本数据集依托于LeRobot框架构建，聚焦于机器人操作领域，旨在为基于UR5e机械臂的操控任务提供标准化训练数据。数据采集涵盖25个完整示教回合，总计2455帧有效样本，帧率设定为10帧每秒。每帧数据被组织为包含多模态观测与动作信息的结构化记录：观测部分收录了来自机械臂固定视角与腕部摄像头的RGB图像，分辨率分别为320×320与720×1280，同时记录了七维关节状态（包括六自由度关节角与夹爪开度）；动作部分则对应七维关节控制指令。数据以Parquet格式高效存储，共计约100MB，而视频部分以MP4格式单独存放，体积约500MB，实现了数值数据与视觉数据的分通道管理。

特点

该数据集呈现出显著的多模态协同特性与结构严谨性。视觉层面，双视角图像采集方案兼顾了全局场景感知与局部精细操作需求，既包含机械臂工作空间的宏观影像，又提供了腕部近场的高清细节，为模仿学习与视觉伺服控制提供了丰富的输入通道。状态与动作空间均采用统一的七维关节空间表达，维度严格对齐，便于直接用于策略学习中的状态转移建模。此外，数据集内嵌了时间戳、帧索引、回合索引等元信息字段，支持时间序列的精确对齐与多回合数据的拼接管理。所有25个回合被统一划入训练集，无额外验证/测试划分，适合作为预训练或基础行为克隆的初始材料。

使用方法

使用该数据集时，可借助LeRobot库的DataLoader接口加载Parquet文件与对应视频，通过指定'default'配置自动索引`data/*/*.parquet`路径下的所有数据块。数据集中每帧均包含完整的观测、动作及辅助信息，用户可根据`observation.state`与`action`字段直接配对状态-动作样本，用于训练模仿学习模型。图像数据需通过`observation.images.image`与`observation.images.wrist_image`键访问，并需注意其内存占用较大，可设置预提取或动态加载策略以提升训练效率。若需自定义训练/验证划分，可基于`episode_index`字段随机选取部分回合进行分离。研究者亦可将`action`序列与`observation.state`联合视为动力学模型的多步预测目标，利用`timestamp`帧间间隔信息进行连续性学习。

背景与挑战

背景概述

橡胶鸭与UR5机械臂数据集（rubber_duck_ur5）诞生于机器人学习领域蓬勃发展之际，由Hugging Face LeRobot社区构建，旨在推动机器人操作技能的模仿学习研究。该数据集聚焦于单一任务——利用UR5e机械臂抓取橡胶鸭，包含25个演示回合、2455帧高分辨率图像（含320x320的主摄像头及720x1280的腕部摄像头）以及7维关节状态与动作信息。其核心研究问题在于如何通过少量演示数据使机器人掌握精巧的抓取操作，为后续的多任务泛化与迁移学习奠定基础。数据集采用Apache-2.0许可协议发布，为学术界与工业界提供了一个标准化的基准平台，在机器人行为克隆与示教学习领域具有重要参考价值。

当前挑战

该数据集所解决的领域挑战在于，机器人操作任务中“从示教到泛化”的鸿沟，即如何使机械臂从有限演示中学习鲁棒的抓取策略，而非仅记忆特定轨迹。数据规模仅25回合、每帧10Hz的采集频率，暴露了样本效率与覆盖度的矛盾：单一场景下橡胶鸭的位姿、光照与背景变化未被充分编码，易导致过拟合。构建过程中，高保真图像（腕部720x1280）与关节状态（7维）的异构信息融合存在同步与标定难题，且parquet与mp4混合存储格式对数据流水线的实时读取提出了效率挑战，此外，有限回合数下动作序列的变长特性增大了策略学习的分布外风险。

常用场景

经典使用场景

在机器人学习与操控领域，rubber_duck_ur5数据集作为一项精细化的模仿学习资源，其经典使用场景聚焦于基于视觉的机械臂抓取与放置任务。该数据集通过UR5e机器人采集了25个完整演示片段，共计2455帧高保真数据，涵盖了腕部与外部双视角的视觉观测图像，以及7维关节状态与动作轨迹信息。研究者常借助此类结构化数据，训练端到端的策略网络，使机器人能够从高维视觉输入中学习精确的关节运动控制，从而复现抓取橡胶鸭子这一具身智能任务，为模仿学习算法的验证与对比提供了标准化基准。

衍生相关工作

rubber_duck_ur5数据集作为LeRobot生态下的典型代表，直接催生了一系列关于“视听融合策略”与“行为克隆变体”的衍生性工作。研究者以其为基础，开发了针对多视角特征对齐的跨模态注意力网络，以及利用时序扩散模型生成平滑动作序列的框架。此外，该数据集还激发了针对数据高效学习的元学习研究，例如通过数据增强与错误检测循环来压缩演示样本需求，进一步推动了物理世界中机器人从少量示范中快速掌握新技能的技术演进。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域，以UR5e机械臂为平台，收集了25个回合、共计2455帧的高频观测与动作数据，涵盖关节状态、夹爪指令及多视角视觉信息。当前前沿方向集中于利用此类精准的机器人操控数据训练模仿学习模型，推动灵巧操作与任务泛化能力。伴随具身智能热潮，该数据集或为构建通用机器人策略库贡献基础资源，在提升机械臂对非结构化环境适应性与自主决策水平方面具有显著意义。