abraranwar/test_put_carrot_in_green_trash_green_trash_bin

该数据集是使用LeRobot创建的机器人控制相关数据集，包含2个完整任务片段和3594帧数据。数据集记录了双机械臂（bi_koch_follower）的控制信息，包括12维动作向量（左右机械臂各6个关节位置）、12维状态观测向量，以及顶部和侧面视角的RGB视频观测（分辨率480x640，30fps）。数据以parquet格式存储，总数据量约100MB，视频数据约500MB。数据集仅包含训练集，适用于机器人控制和学习相关研究。

This dataset is a robotics control dataset created using LeRobot, containing 2 complete episodes and 3594 frames. It records control information for a bi-manual robot (bi_koch_follower), including 12-dimensional action vectors (6 joint positions for each arm), 12-dimensional state observation vectors, and RGB video observations from top and side views (resolution 480x640, 30fps). The data is stored in parquet format, with approximately 100MB of data files and 500MB of video files. The dataset only contains training splits and is suitable for robotics control and learning research.

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，精细化的任务数据集是推动具身智能发展的关键基石。该数据集基于LeRobot框架构建，专注于“将胡萝卜放入绿色垃圾桶”这一特定操作任务。数据集采集于一台名为bi_koch_follower的双臂机器人，通过遥操作或预设程序收集了2个完整回合的演示数据，总计3594帧画面。数据以Parquet格式存储于按块索引（chunk）组织的文件中，而原始视频则采用AV1编码保存，确保高保真视觉信息的有效压缩。所有数据均划分为训练集，并通过元信息文件（meta/info.json）详尽记录了特征维度、传感器配置及数据路径。

特点

该数据集具备多维度的精细结构化特征，为机器人模仿学习提供了丰富的监督信号。其观测空间包含两个视觉通道：一台俯视相机与一台侧视相机，均以30帧每秒的速率捕获480x640像素的彩色图像，使机器人能从不同视角感知环境与目标物状态。同时，状态观测向量精准记录了左右臂各6个关节的位置数值（如肩关节、肘关节、腕关节和夹爪位置），完整刻画了机械臂的位姿。动作空间与状态空间一一对应，由12维浮点数构成，清晰定义了期望的关节运动指令，便于策略网络直接学习从感知到动作的映射关系。

使用方法

借助LeRobot库，用户可以高效地加载与处理该数据集。首先通过lerobot.Dataset类指定数据集路径和配置名称（default），即可自动完成Parquet数据与对应视频帧的同步加载。系统内置了标准化接口，允许用户按回合（episode）或帧（frame）索引遍历数据，轻松提取多模态信息：包括关节状态向量、动作指令、时间戳以及经解码的图像张量。对于策略训练，该数据集可直接作为训练样本源，无缝接入Diffusion Policy、ACT等主流模仿学习算法的数据流水线。用户也可通过将数据集转换为PyTorch的DataLoader格式，实现批量数据的动态迭代与增强，从而高效地驱动机器人的行为学习与仿真验证。

背景与挑战

背景概述

该数据集由Hugging Face LeRobot社区贡献者创建，发布于2024年，聚焦于机器人操控领域的细粒度任务学习。数据集围绕“将胡萝卜放入绿色垃圾桶”这一具身智能操作场景，采用双机械臂（bi_koch_follower）采集了共计2个回合、3594帧（约30帧/秒）的高频轨迹数据。核心研究问题在于如何通过少量专家演示（仅2个回合）实现机器人对特定操作技能的泛化学习，并验证模仿学习在复杂抓取-放置任务中的有效性。该数据集以Apache-2.0协议开源，作为LeRobot生态中的微型基准，推动了对低样本场景下机器人技能习得的探索，并为后续在相似精细化操控任务中的数据标准化与算法评测提供了参照。

当前挑战

领域层面，该任务需解决具身智能中“从有限演示中泛化”的核心挑战——传统模仿学习依赖海量数据（如DROID的百万级帧），而此数据集仅含3594帧，对模型捕获胡萝卜形状、垃圾桶开口位置及双机械臂协调动作的稀疏分布构成严峻考验。构建过程中，数据采集面临双机械臂（12自由度）同步控制的复杂性，以及高帧率（30fps）下动作轨迹与多视角图像（顶视、侧视）的精确对齐问题。此外，仿真到真实环境的迁移（Sim2Real）中，光照、材质差异与动态干扰（如目标滑动）进一步加剧了技能鲁棒性的验证难度。

常用场景

经典使用场景

在机器人操作与模仿学习领域，该数据集聚焦于一个精细的抓取与放置任务——将胡萝卜精准投入绿色垃圾桶。其经典使用场景是作为端到端模仿学习的训练与评估基准，研究者可利用双机械臂（bi_koch_follower）的关节角度动作序列、顶视与侧视摄像头的高清视频流，联合建模视觉感知与运动控制的映射关系。数据集以30帧/秒的速率采集，包含约3594帧的连续轨迹数据，为从示范中学习策略提供了高质量的示范库，尤其适用于行为克隆（Behavior Cloning）和生成式模仿学习方法的验证。

解决学术问题

该数据集针对机器人领域中细粒度操作技能迁移的难题，提供了标准化的研究平台。它解决了如何从少量人类遥操作示范中泛化出鲁棒操作策略的学术问题，特别是处理涉及物体识别、空间定位与双臂协调的复杂任务。通过提供多模态观测（图像与本体状态）和精确的12维动作空间，它帮助研究者量化对比不同算法在小样本、高精度物体操纵任务上的表现，推动了模仿学习在非结构化环境中的应用理论发展。其意义在于降低了机器人学习研究的数据门槛，促进了可复现的基准测试方法。

衍生相关工作

该数据集衍生了若干类经典工作：其一，基于Transformer架构的视觉-运动联合建模方法，如使用扩散策略（Diffusion Policy）或动作分块（Action Chunking with Transformers, ACT）在该数据集上进行微调与评测；其二，对比模仿学习与强化学习在真实机器人操作效果的研究，例如探索利用该数据集的示范数据初始化策略，再通过环境反馈进行精调；其三，针对数据效率优化的数据增强与重加权技术，如通过视频预测模型生成额外的虚拟轨迹来扩充训练集。