KuphDev/remove_green_duck

该数据集使用LeRobot创建，是一个机器人学数据集，专注于机器人动作和观察数据的收集。数据集包含60个episodes，总计53522帧，帧率为30fps。数据特征包括动作（action）和观察状态（observation.state），均涉及6个关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）。观察部分还包括顶部摄像头图像（observation.images.top），视频分辨率为720x1280，3通道，使用h264编解码器。数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为“so_follower”，数据以parquet文件格式存储，视频以mp4格式存储。数据集总数据文件大小为100MB，视频文件大小为200MB，用于训练任务。This dataset was created using LeRobot and is a robotics dataset focused on collecting robot action and observation data. It contains 60 episodes with a total of 53,522 frames at 30 fps. The features include action and observation.state, both involving 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position). The observation also includes top camera images (observation.images.top) with video resolution of 720x1280, 3 channels, using h264 codec. The dataset includes metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, and data is stored in parquet files with videos in mp4 format. The total data file size is 100MB, and video file size is 200MB, intended for training tasks.

搜集汇总

数据集介绍

构建方式

该数据集名为remove_green_duck，基于LeRobot框架构建，专注于机器人操作学习领域。数据采集过程中，通过控制so_follower型机械臂执行移除绿色鸭子的任务，以30帧每秒的速率同步记录机械臂六个关节的动作指令（action）与状态观测值（observation.state），并利用顶部高清摄像头（分辨率720×1280）采集RGB视频数据（h264编码）。数据以Parquet格式存储结构化信息，视频以MP4格式独立保存，共计60个episode，包含53522帧，数据总量约300MB。训练集直接来源于全部60个episode，无需额外划分。

特点

该数据集的核心特点在于其针对单一机器人操作任务的精细化设计，覆盖了完整的演示轨迹与状态-动作对，适用于模仿学习与行为克隆等范式。其包含的多模态信息——关节空间的状态与动作序列、高分辨率视觉观测以及精确的时间戳和帧索引——为建模机器人感知-决策关联提供了丰富维度。此外，数据集的标准化结构（遵循LeRobot v3.0协议）和公开许可证（Apache-2.0）确保了跨平台的可复现性与二次开发潜力。

使用方法

用户可直接通过Hugging Face的datasets库加载该数据集，利用LeRobot提供的可视化工具在空间中进行交互式预览。在模型训练时，可将action和observation.state作为监督信号，与observation.images.top作为视觉输入结合，构建策略网络；推荐使用PyTorch或TensorFlow框架配合LeRobot的API进行数据流水线处理。数据集的60个episode已默认划分为训练集，用户亦可按需自定义分割比例或进行数据增强，以适应不同的模仿学习算法需求。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一项关键技术，通过从示范数据中习得策略，使机器人能够复现复杂操作任务。remove_green_duck数据集由社区研究者KuphDev利用LeRobot框架于近期创建，旨在解决机器人抓取与物体移除这一基础但具有代表性的操作问题。该数据集记录了60个示范片段，共计53,522帧，包含六自由度机械臂（so_follower）在30帧每秒下的关节状态与顶部摄像头图像（720×1280分辨率），为基于视觉的机器人操作学习提供了高质量的示范数据。尽管该数据集规模较小，专注于单一任务，但其标准化格式与LeRobot生态的集成，为后续在机器人操作领域开展可复现的模仿学习研究奠定了基础，并体现了开源社区在推动机器人数据共享方面的重要贡献。

当前挑战

该数据集所应对的领域核心挑战在于，机器人如何从有限的示范中高效学习精确的抓取与空间移除操作，这涉及视觉感知、运动规划与力控制的深度融合。具体而言，面临的挑战包括：第一，示范数量有限（仅60个回合），如何在低数据条件下防止策略过拟合并提升泛化能力是根本难题；第二，任务中物体（绿色鸭子）的位置与姿态变化要求机器人具备空间理解与适应能力，而数据集未显式标注物体姿态，增加了模型学习的不确定性；第三，构建过程中，采集高质量且一致的示范需要精细的遥操作录制，机械臂的6维关节动作与顶部视角视频的同步精度直接影响数据可用性，且计算资源管理（如200MB视频与100MB数据文件）亦构成实际操作中的瓶颈。

常用场景

经典使用场景

在机器人操作与模仿学习领域，remove_green_duck 数据集专为“拾取与移除特定目标物体”这一精细操作任务而设计。该数据集包含60个演示片段，共计超过53000帧，记录了六自由度机械臂（so_follower）从顶部视觉观察下，将绿色鸭子从场景中夹取并移出的完整动作序列。每个时间步的关节状态与夹爪位置均被精确采集，为学习从视觉输入到连续动作映射的策略网络提供了高质量的轨迹数据，是验证视觉运动策略（如扩散策略、行为克隆或强化学习）在特定目标操作任务上泛化能力的经典基准。

解决学术问题

该数据集针对机器人操作中“语义目标指代与物理干预”这一交叉学术难题提供了标准化测试平台。传统模仿学习数据集常忽视物体类别属性与操作意图的绑定，而remove_green_duck通过单一任务设计，迫使算法必须学会将视觉观察中的“绿色鸭子”特征与移除动作关联，从而推动了场景理解与动作规划联合建模的研究进展。它解决了如何让智能体在复杂背景中精准识别指定对象并执行非破坏性移除的学术挑战，对于发展具有物体级语义感知能力的机器人控制策略具有里程碑式的意义。

衍生相关工作

基于remove_green_duck数据集，研究者已衍生出多项影响力工作。其中，利用其多模态轨迹特性，衍生工作探索了对比学习在机器人视觉表征中的应用，通过帧间一致性损失预训练感知编码器，显著提升了稀疏奖励场景下的策略学习效率；另一方向则聚焦于“行为克隆与运动细化”的混合范式，该数据集成为评估高效微调策略的标准测试集。此外，社区基于此数据开发了轻量级变形网络（DuckNet），专门优化对绿色语义特征的捕捉能力，进而推广至其他颜色与形状的目标移除任务。这些衍生工作共同构建了从数据驱动到算法适配的完整生态，大幅降低了机器人精细操作研究的入门门槛。