sailingsan/pick_banana_20260527_134625

这是一个使用LeRobot创建的机器人学数据集，专门用于机器人操作任务，具体涉及拾取香蕉的场景。数据集包含5个回合，总计3200帧，帧率为30fps。数据特征包括6维动作向量（对应肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、6维观察状态向量（同样对应这些关节位置）、前摄像头图像（分辨率为480x640，3通道RGB视频，使用av1编解码器），以及时间戳、帧索引、回合索引、索引和任务索引等元数据。机器人类型为so_follower。数据集结构以Parquet和MP4格式存储，总数据文件大小为100MB，视频文件大小为200MB，适用于机器人控制、强化学习或计算机视觉任务的研究和开发。This dataset was created using LeRobot and is focused on robotics, specifically for a banana-picking task. It consists of 5 episodes with a total of 3200 frames at 30 fps. The features include a 6-dimensional action vector (corresponding to shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), a 6-dimensional observation state vector (mirroring the same joint positions), front camera images (480x640 resolution, 3-channel RGB video with av1 codec), and metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower. The dataset is stored in Parquet and MP4 formats, with a total data file size of 100 MB and video file size of 200 MB, suitable for research and development in robot control, reinforcement learning, or computer vision applications.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据集的构建通常依赖于标准化采集流程与统一的数据格式。该数据集借助LeRobot框架生成，采集过程中由SO follower机器人执行香蕉抓取任务，共记录5个回合、3200帧，采样频率为30帧每秒。数据涵盖六维关节位置动作与状态，以及前视摄像头视频流，各回合按统一索引与任务编号归档，原始数据以Parquet格式存储，视频以AV1编码保存，形成结构规整、可直接用于模仿学习训练的机器人操作数据集。

特点

该数据集以真实机器人操作任务为核心，具身智能研究中的精细操作需求。其显著特点在于多模态同步记录，动作、状态与视觉观测在时间维度上严格对齐，为策略学习提供完整的状态-动作映射。六自由度关节空间涵盖肩部、肘部、腕部及夹爪，任务语义明确且回合数适中，适合快速验证模仿学习算法。视频数据采用高效编码格式，在保证视觉质量的同时降低存储开销，元信息文件完整描述了特征维度、数据类型与文件路径，便于自动化加载与复现实验。

使用方法

在机器人策略学习与模仿学习研究中，该数据集可通过LeRobot生态工具便捷加载。使用者可依据元信息中的文件路径读取Parquet格式的动作与状态序列，并同步解码对应视频帧，构建时间对齐的多模态训练样本。数据集已划分训练集，可直接用于行为克隆、扩散策略或视觉-语言-动作模型的训练与评估。借助Hugging Face Spaces提供的可视化工具，研究者能够直观检查回放轨迹与任务执行质量，从而支撑算法调试、基线对比与可复现研究。

背景与挑战

背景概述

在具身智能与机器人学习领域，高质量的真实世界操作数据集是推动算法从仿真走向物理部署的关键基础设施。pick_banana_20260527_134625数据集由LeRobot框架构建，于2026年5月生成，依托HuggingFace平台开源发布。该数据集记录了SO-100 follower机械臂执行香蕉抓取任务的五组演示轨迹，涵盖六自由度关节位置、动作指令及前视摄像头视频流，总帧数达3200帧，采样频率30Hz。其核心研究问题在于为视觉-动作联合策略提供小样本、多模态的真实操作样本，降低机器人抓取任务中对大规模数据采集的依赖，对轻量化模仿学习与低成本机器人操作研究具有参考价值。

当前挑战

该数据集所面对的挑战具有双重维度。在领域问题层面，香蕉抓取任务要求机械臂在非结构化环境中处理目标物体的形状不规则性、表面摩擦特性及潜在遮挡，这对视觉感知的鲁棒性和动作序列的泛化能力构成显著考验。在构建过程中，仅五组演示轨迹和单一任务设定限制了数据多样性，可能引发策略过拟合；30Hz视频流与关节状态的时间对齐需确保帧级同步精度；SO-100 follower平台的运动学约束和抓取力控制亦增加了演示一致性的采集难度。此外，数据集缺乏成功/失败标签与多视角信息，对模仿学习算法的评估与鲁棒性验证提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，基于视觉的抓取任务长期被视为检验策略泛化能力的试金石。该数据集以SO-100/SO-101系列桌面机械臂为平台，围绕“拾取香蕉”这一典型的接触密集型操作，提供了30Hz同步采集的六自由度关节位置与前置RGB视频流，共5条完整演示轨迹、3200帧时序数据。其最经典的使用场景在于模仿学习范式的端到端策略训练，研究者可借助ACT、Diffusion Policy等算法，将多模态观测映射为连续动作序列，从而让机械臂在非结构化环境中完成目标定位、接近、夹取与抬升等连贯动作。

解决学术问题

针对机器人学习研究中演示数据稀缺、真实场景复现成本高昂的痛点，该数据集为视觉-动作联合建模提供了轻量而完整的实证载体。它有效缓解了仿真到现实迁移中的视觉域差异问题，使研究者能够在真实物理条件下考察策略对光照变化、物体位姿偏移及夹爪接触力学的鲁棒性。同时，其标准化的LeRobot v3.0数据格式与元信息结构，为不同实验室之间的结果复现与基准比较提供了统一接口，对推动可重复机器人学习研究具有积极意义。

衍生相关工作

依托LeRobot开源框架的标准化数据接口，该数据集可与ACT、Diffusion Policy、VQ-BeT等主流模仿学习基线工作形成直接关联，成为其训练与评测流程中的典型任务实例。围绕该数据集衍生的研究多集中于小样本条件下的策略泛化、多模态表征对齐以及真实机械臂的持续学习等方向。同时，Hugging Face平台上的可视化工具与数据集卡片机制，也促进了社区围绕抓取任务开展横向对比与迭代优化，逐步积累起面向桌面操作的开源基准生态。