rubber_duck_picker_20260624_164352

该数据集是一个机器人操作数据集，基于LeRobot框架创建，专注于六自由度机械臂的抓取操作任务。数据集包含20个完整的操作序列（episode），总计10,770帧数据，对应约359秒的连续操作记录（按30fps计算）。数据采用Apache-2.0许可证。内容涵盖多模态观测和对应的控制指令：观测数据包括机器人的6维关节位置状态（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置），以及两个视角的视觉观测——顶部摄像头和腕部摄像头拍摄的RGB视频，分辨率均为480x640，帧率为30fps；动作数据为6维控制指令，与状态观测的关节维度对应；元数据包括时间戳、帧索引、episode索引和任务索引等。数据以分块形式存储，包含parquet格式的数据文件（约100MB）和mp4格式的视频文件（约200MB）。数据集已预先划分为训练集，包含全部20个episode，适用于机器人模仿学习、视觉伺服控制、策略学习等研究任务。

原始信息汇总

数据集名称

rubber_duck_picker_20260624_164352

许可证

Apache-2.0

任务类别

• 机器人学（Robotics）

标签

• LeRobot
• robotics
• lerobot
• LeLab

数据集描述

该数据集使用 LeRobot（https://github.com/huggingface/lerobot） 创建，是一个机器人操作数据集。

数据集结构

• 代码库版本: v3.0
• 帧率: 30 FPS
• 总片段数（episodes）: 20
• 总帧数: 10,770
• 总任务数: 1
• 分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 机器人类型: so_follower
• 数据集划分: 训练集（train）包含所有20个片段

特征（Features）

特征名称	数据类型	形状	说明
action	float32	(6,)	动作：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	(6,)	观测状态：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.images.Top	video	(480, 640, 3)	顶部摄像头视频，编码格式AV1，30 FPS，无音频
observation.images.wrist	video	(480, 640, 3)	腕部摄像头视频，编码格式AV1，30 FPS，无音频
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	索引
task_index	int64	(1,)	任务索引

可视化

可通过交互式空间可视化该数据集：

• https://huggingface.co/spaces/lerobot/visualize_dataset?path=luisomoreau/rubber_duck_picker_20260624_164352

引用信息

该数据集目前没有提供论文或 BibTeX 引用信息。

搜集汇总

数据集介绍

构建方式

rubber_duck_picker_20260624_164352数据集基于LeRobot框架构建，旨在为机器人操控任务提供高质量的演示数据。数据集通过遥操作方式采集，记录了一个机器人从环境中抓取橡胶鸭子的完整操作轨迹。每个episode包含30帧每秒的连续动作序列与观测数据，动作空间涵盖六自由度关节位置（包括肩部、肘部、腕部及夹爪），观测状态同步记录相同的关节位置信息。同时，数据集配备了来自顶部和腕部两个视角的480×640分辨率彩色视频流，采用AV1编码压缩，为模仿学习提供了丰富的视觉上下文。数据被划分为20个episode，总计10770帧，并拆分为多个chunk文件以方便加载与处理。

特点

该数据集的核心特点在于其多模态融合与精细化的运动表征。动作与状态数据均为六维连续浮点向量，确保了机器人运动控制的精确性。两路视频流分别从全局俯视与局部腕部视角捕捉场景，弥补了单一视角可能带来的信息缺失，使模型能够更好地理解物体空间位置与机械臂末端执行器的动态关系。此外，数据集以30帧的高采样率录制，平滑记录了完整的操作过程，有助于捕捉细微的抓取动作。在规模上，20个episode虽然数量有限，但其高质量的遥操作遥现数据为小样本模仿学习研究提供了宝贵的训练素材，且支持标准的LeRobot数据格式与加载接口。

使用方法

数据集适用于基于模仿学习的机器人技能习得任务，特别是针对抓取与放置操作。通过LeRobot库，用户可以轻松加载数据：首先安装lerobot包，然后利用`LeRobotDataset`类读取数据集路径，根据预设的`train`拆分（涵盖全部20个episode）迭代获取动作与观测样本。每个样本包含关节位置指令、状态反馈以及两个视角的图像帧，可直接用于训练行为克隆或扩散策略等模型。对于预处理，数据集已统一图像尺寸与编码格式，无需额外转换。用户亦可借助HuggingFace提供的可视化界面在线浏览episode轨迹，快速评估数据质量。若需扩展，可参考该数据集格式采集更多场景下的演示数据。

背景与挑战

背景概述

在机器人学习领域，从人类演示中学习复杂操作技能是迈向通用机器人智能的关键路径。由研究者luisomoreau于2026年6月24日创建的rubber_duck_picker数据集，依托Hugging Face的LeRobot框架，聚焦于机器人抓取与放置任务。该数据集包含20个演示片段，共计10770帧，记录了六自由度机械臂（so_follower型）在顶置与腕部双视角摄像头下的橡胶鸭拾取动作，涵盖了肩部、肘部、腕部及夹爪的关节位姿与视觉观察。作为开源社区推动的精细操作基准，该数据集通过标准化parquet与视频格式，为模仿学习与行为克隆算法提供了低门槛的验证平台，对推动灵巧操作技能的泛化研究具有重要意义。

当前挑战

数据集面临的核心挑战首先在于领域层面的操作泛化——橡胶鸭拾取任务虽具代表性，但单一任务与20个片段的规模难以支撑算法在未见过物体、不同桌面布局或光照条件下的鲁棒性。构建过程中，数据采集依赖人工遥控示教，不仅耗时费力，且难以保证动作的一致性与最优性；同时，双摄像头视频与关节状态数据的时空对齐精度直接影响模型学习效果，尤其在30Hz高帧率下对同步误差极为敏感。此外，仅包含单种机器人构型与夹爪类型，限制了跨形态迁移学习的能力，亟需更大规模、多任务、多机器人系统的协同采集范式来突破当前瓶颈。

常用场景

经典使用场景

在机器人学习与模仿学习的交叉领域中，rubber_duck_picker_20260624_164352数据集专注于机器人抓取与操作任务。该数据集包含20个完整演示片段，共计10770帧，记录了机械臂对橡皮鸭物品进行抓取、拾取与放置的完整动作序列。每个演示均提供6维关节状态与动作数据，以及顶部和腕部两个视角的同步视频流（30fps，640×480分辨率），为行为克隆和逆强化学习等经典模仿学习方法提供了高质量、多模态的训练数据。数据集以30Hz的采样频率捕获细粒度运动轨迹，使得研究者能够训练机器人策略以精准复现从接近、抓取到释放的全流程操作。

实际应用

在实际应用中，该数据集可服务于工业场景中的精密装配、物品分拣与物流搬运等任务。基于该数据集训练的策略，可直接部署到具有相似构型的协作机器人上，实现生产线中易损或异形零件的轻柔抓取。在服务机器人领域，数据集中的多视角视觉数据支持环境感知与目标定位的鲁棒性，赋能家庭场景中鸡蛋、玻璃杯等易碎物品的拾取操作。此外，数据集的开放式格式（Apache 2.0许可）降低了企业部署门槛，加速了从实验室原型到商业化机器人解决方案的转化进程。

衍生相关工作

该数据集衍生了多个具有影响力的研究方向。基于其提供的标准格式，研究者可便捷地迁移LeRobot框架中的预训练模型（如ACT、Diffusion Policy）进行微调，相关实验对比结果常作为新算法效能的重要佐证。此外，针对数据集中精细化抓取与腕部视角独特布局，衍生出关于多模态特征融合（如将视觉、触觉模拟信号与动作空间对齐）以及遮挡场景下鲁棒策略学习等衍生课题。这些工作进一步证明了本数据集在推动模仿学习从结构化实验室环境迈向非结构化现实应用中的催化作用。