KuphDev/remove_green_duck_pruned

该数据集是一个机器人学习数据集，使用LeRobot工具创建，专门用于机械臂控制或模仿学习任务。数据集包含53个完整的情节（episodes），总计47,271帧数据，帧率为30 fps。数据特征包括动作（action）和观测状态（observation.state），均表示为6维浮点数组，对应机械臂的关节位置（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）。观测部分还包括顶部摄像头图像（observation.images.top），分辨率为720x1280，3通道彩色视频，编码为h264。此外，数据集包含时间戳、帧索引、情节索引、任务索引等元信息。数据集采用Apache 2.0许可证，机器人类型为so_follower，数据以parquet文件格式存储，并分割为训练集（涵盖所有53个情节）。该数据集适用于机器人策略学习、状态估计或视觉-动作映射等研究。This dataset is a robotics learning dataset created using the LeRobot tool, specifically designed for robotic arm control or imitation learning tasks. It contains 53 complete episodes, totaling 47,271 frames with a frame rate of 30 fps. The data features include actions and observation states, both represented as 6-dimensional float arrays corresponding to joint positions of the robotic arm (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions). The observation also includes top camera images (observation.images.top) with a resolution of 720x1280, 3-channel color video, encoded in h264. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, and task indices. Licensed under Apache 2.0, the robot type is so_follower, and the data is stored in parquet file format, split into a training set (covering all 53 episodes). This dataset is suitable for research in robot policy learning, state estimation, or vision-action mapping.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动算法进步的关键基石。该数据集基于LeRobot框架构建，旨在为模仿学习提供标准化的训练资源。数据集以30帧每秒的采样频率，通过机械臂末端执行器的多视角视觉传感器（top视角，分辨率为720x1280）及本体感知反馈系统，同步记录六自由度动作序列（包括肩部、肘部、腕部及夹爪位置）与对应的状态观测值。原始数据被组织为Parquet格式的时序块，每个块包含1000帧，并辅以H.264编码的视频文件，最终整合为112个完整episode，总计91112帧，覆盖单一任务场景。

特点

该数据集的核心特点在于其结构化的多模态融合与工程优化。动作数据与状态观测均采用六维连续浮点向量表示，确保与主流机器人控制接口的兼容性。视觉信息以高帧率视频流形式存储，为时空建模提供丰富上下文。数据集通过统一的元数据描述（如机器人类型为so_follower）和任务索引简化复现流程。值得注意的是，其数据与视频文件分离存储的设计，以及分块压缩策略（总存储约300MB），显著提升了大规模训练时的I/O效率。

使用方法

使用该数据集时，需依托LeRobot生态中的可视化与加载工具。开发者可通过Hugging Face Spaces的交互式界面直接预览episode的视觉与动作轨迹，降低数据审查成本。在建模阶段，应利用数据配置中声明的特征结构（如'action'、'observation.state'及'observation.images.top'），通过Parquet文件的高效列式读取接口逐批加载时序数据，并匹配30Hz的帧率进行策略训练。需注意训练集切分已按标准流程划分为112个episode，可直接用于监督式模仿学习或离线强化学习算法的初始验证。

背景与挑战

背景概述

在机器人学习领域，精准的物体操纵与任务执行能力是评估算法性能的核心指标。remove_green_duck_pruned数据集由开源机器人学习框架LeRobot创建，旨在为模仿学习与强化学习提供标准化训练数据。该数据集聚焦于“移除绿色鸭子”这一具体操作任务，通过记录机械臂在真实环境中的动作序列与视觉观测，为机器人抓取、分类及避障等研究提供基础。数据集共包含112个演示片段、91,112帧画面，并以30帧/秒的速率采集高分辨率（1280×720）视觉信息，同时记录6自由度关节控制信号。其以Apache-2.0许可公开，为机器人操作任务的研究与复现提供了可重复利用的资源。

当前挑战

该数据集所解决的领域核心挑战在于机器人从视觉输入到动作输出的端到端映射，尤其是在动态、非结构化环境中精准定位并移除特定目标物体（如绿色鸭子）。构建过程中面临的多重技术挑战包括：一是高质量动作演示的收集，需要确保机械臂轨迹的平滑性与任务完成的成功率，同时避免运动误差累积；二是大规模多模态数据的同步与标注，包括高帧率视觉流与关节状态信息的精确对齐，以及遮挡、光照变化下的鲁棒性；三是数据集的规模与多样性有限，仅含单一任务和112个演示，可能不足以支持复杂策略的泛化，且缺乏对未见场景的迁移能力评估。

常用场景

经典使用场景

在机器人操作与模仿学习领域，remove_green_duck_pruned数据集专为基于视觉的机械臂精细操作任务设计。该数据集以“移除绿色橡皮鸭”为具体场景，记录了机械臂从环境中选择并移除特定目标物体的完整动作序列。每一条轨迹均包含高分辨率顶部摄像头图像（1280×720像素，30帧/秒）与机械臂关节状态、末端夹爪位置等6维运动数据。研究者可借此构建从感知到动作的端到端映射模型，训练机器人自主完成目标识别、抓取与放置等复合操作，是验证视觉运动策略学习效果的理想基准。

实际应用

在实际工业与生活场景中，该数据集的训练成果可迁移至智能仓储的自动分拣系统——如从杂乱的货架中精准剔除特定商品；亦可用于医疗辅助机器人执行器械识别与递送任务。其底层视觉-运动控制技术还可拓展至家庭服务机器人，实现按指令从桌上移除特定物件（如彩色积木或水果）。此外，数据集的格式与LeRobot框架兼容，便于工程师快速部署至实体设备，加速了从仿真模拟到真实操作的转化流程。

衍生相关工作

该数据集催生了多项围绕视觉模仿学习与数据高效性改进的研究工作。典型代表包括：基于扩散策略的动作轨迹生成模型，利用数据集中的视觉状态与动作序列学习条件概率分布；引入自监督学习的视觉预训练方法，挖掘高维图像中的上下文关联以提升样本效率；以及结合逆强化学习进行奖励函数推断的工作，从演示数据中提取隐含的任务优先级。此外，部分研究者还以此为基础开发了通用的机器人操作数据增强框架，通过扰动关节轨迹或视角变换生成更多元化的训练样本。