KuphDev/place_yellow_duck

该数据集是一个用于机器人任务的数据集，具体任务为放置黄色鸭子。数据集包含66个episodes，总帧数为58883帧，帧率为30fps。数据特征包括机器人的动作（如肩部、肘部、腕部等关节位置）、状态观测（与动作相同的关节位置）、顶部摄像头图像（分辨率为720x1280，RGB三通道），以及时间戳、帧索引、episode索引等元数据。机器人类型为so_follower。数据集以parquet格式存储，视频以mp4格式存储，总数据文件大小为100MB，视频文件大小为200MB。This dataset is tailored for a robotic manipulation task, specifically the task of placing a yellow duck. It contains 66 episodes, with a total of 58883 frames and a frame rate of 30 fps. The data features include robot actions (e.g., joint positions of the shoulder, elbow, wrist and other joints), state observations (identical joint positions as those in the actions), top-view camera images with a resolution of 720×1280 and 3-channel RGB, as well as metadata such as timestamps, frame indices and episode indices. The robot type is so_follower. The dataset is stored in Parquet format, while the video files are stored in MP4 format. The total size of the dataset files is 100 MB, and the total size of the video files is 200 MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供示范数据。数据采集过程中，通过记录机械臂在真实环境中的运动轨迹与视觉观测，形成了包含动作序列、状态信息及高分辨率视频的标准化数据包。数据集共包含66个完整任务片段，总计58883帧，以30帧每秒的采样频率对齐动作与视觉信息，并采用Parquet与H.264编码的MP4格式分别存储结构化数据与视频流，确保了数据的高效存取与可扩展性。

使用方法

该数据集通过Hugging Face平台发布，并集成了LeRobot的可视化与加载工具，使用者可直接通过链接在线浏览样本。在本地使用时，可借助LeRobot库的Dataset类加载Parquet文件与关联视频，以提取动作、状态和图像序列。其训练集与全集重合，适用于端到端的机器人策略学习。建议研究者基于其结构化的特征字典，利用动作和状态数据进行运动规划，或结合顶部视觉图像训练视觉运动策略，实现从感知到执行的闭环控制。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种使机器人能够通过观察人类示范来获取技能的有效范式，近年来受到了广泛关注。然而，高质量、标准化的机器人操作数据集的匮乏，严重制约了该领域的发展。place_yellow_duck数据集应运而生，它由KuphDev团队基于LeRobot框架创建，旨在为机器人灵巧操作任务提供精细化的训练数据。该数据集聚焦于“放置黄色鸭子”这一具体操作动作，通过采集人类示范过程中的关节角度、末端执行器姿态以及顶部高清视觉信息，构建了包含66个演示片段、近6万帧的高质量数据流。其研究核心在于探索如何利用大规模、多模态的示范数据，提升机器人在非结构化环境中的泛化操作能力，为后续的模仿学习算法开发与评测提供了宝贵的基准资源。

当前挑战

该数据集所面向的领域核心挑战在于，机器人操作任务的高维状态空间与连续动作空间使得从示范中高效学习稳健策略极为困难。具体而言，数据仅包含顶部视角的视觉信息，缺乏对深度和侧方细节的感知，这限制了模型对三维空间位置和物体姿态的精确推断能力。此外，数据采集过程中，机器人末端执行器（so_follower）的控制精度与人类示范的精细动作之间存在误差累积，导致直接行为克隆易产生分布偏移。同时，仅针对单一任务（放置黄色鸭子）的演示，使得模型难以泛化到其他形状或材质的物体摆放，而66个演示片段的规模相对于实际复杂的操作环境而言依然有限，如何在有限标注数据下实现策略的鲁棒性迁移，是当前亟待突破的瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，place_yellow_duck数据集专为模仿学习与基于视觉的机械臂抓取-放置任务而设计。该数据集记录了KUKA LBR iiwa 14机械臂（so_follower）在66个回合中，执行将黄色鸭子放置到指定位置的动作序列，包含高分辨率俯视摄像头（1280×720，30 FPS）图像、六维关节状态、执行器指令及时间戳。其核心用途在于训练端到端策略网络，使机器人能通过视觉输入直接映射至连续动作空间，尤其适用于细粒度操作研究。

解决学术问题

该数据集解决了机器人领域中长期存在的“小样本泛化”与“长程任务分解”难题。通过提供一致的物体（黄色鸭子）与固定背景下的精细操控轨迹，研究者可聚焦于探索多模态感知融合、时序动作一致性及策略泛化边界。其价值在于为对比学习、因果推理及行为克隆等算法提供了基准，推动了对机器人从感知到动作闭环中噪声鲁棒性、动作平滑性等关键学术问题的量化评估，显著提升了模仿学习在工业级任务中的可复现性。

实际应用

在实际工业与物流场景中，该数据集训练的模型可直接服务于流水线上的小物体分类装配、仓储系统的精密拣选或实验室中的样品转移操作。其记录的六自由度动作向量（含夹爪开合）与真实高帧率图像，为开发自适应抓取系统提供了训练基础，尤其适用于环境光照变化或目标微小位移时的动态调整。由于数据集采用Apache-2.0开源许可，下游企业可据此低成本开发专用机械臂模块，加速家庭服务机器人或医疗辅助设备的落地部署。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，精细操作任务正成为衡量算法泛化能力的关键标尺。place_yellow_duck数据集聚焦于机械臂对黄色鸭状物体的精准放置任务，采集自SO-Follower遥操作平台，包含66个演示片段与近6万帧高分辨率视觉与状态序列。该数据集的发布顺应了模仿学习与行为克隆从静态抓取迈向动态交互的前沿浪潮，为研究技能迁移、视觉运动策略鲁棒性及多模态融合提供了标准化基准。其独特的单任务大规模演示特征，不仅有助于验证扩散策略与Transformer架构在机器人操纵中的效能，更推动了低延时、高精度遥操作系统的演进，对家庭服务与工业分拣场景中灵巧操作的智能化转型具有里程碑意义。