pick_mango

该数据集使用LeRobot创建，包含机器人操作的相关数据。数据集包含5个总剧集，2509个总帧数，1个总任务。数据集的结构详细描述了机器人类型、数据文件和视频文件的路径、以及包括动作、观测状态、相机1图像、时间戳、帧索引、剧集索引、索引和任务索引等特征。具体的数据集用途或内容描述未在README中提供。

原始信息汇总

数据集概述

基本信息

• 数据集名称: pick_mango
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总回合数: 5
• 总帧数: 2509
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 数据块大小: 1000
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30 fps
• 是否为深度图: 否
• 是否包含音频: 否

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

数据划分

• 训练集: 0:5

创建信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，pick_mango数据集通过LeRobot平台系统性地采集了机械臂执行芒果采摘任务的交互数据。该数据集采用分块存储策略，将2509帧数据划分为5个完整操作序列，以1000帧为单元存储在Parquet格式文件中。数据采集过程以30Hz频率同步记录机械臂关节状态与视觉信息，通过SO101型机器人平台实现了动作指令与多模态观测的精确对齐。

特点

该数据集展现了机器人操作数据的典型特征，其核心价值在于融合了六自由度机械臂的连续控制指令与480×640分辨率的三通道视觉观测。数据维度设计科学合理，动作空间覆盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等完整操作链，观测空间则同步提供关节角度反馈与第一视角视觉流，形成了闭环控制所需的多模态表征体系。

使用方法

研究者可借助该数据集开展机器人模仿学习与策略泛化研究，通过解析Parquet文件中的动作-观测对构建端到端控制模型。数据按训练集划分完整覆盖5个任务序列，支持以帧索引或片段索引方式加载特定操作阶段。视觉数据以AV1编码的MP4格式独立存储，可与状态数据通过时间戳实现跨模态对齐，为机器人操作策略的离线训练与仿真验证提供标准化数据支撑。

背景与挑战

背景概述

在机器人操作任务研究领域，模仿学习作为实现复杂技能获取的重要范式，亟需高质量的行为示范数据集支撑。pick_mango数据集基于LeRobot开源框架构建，采用so101_follower型机器人平台，通过多模态传感器记录机械臂关节状态与视觉观测数据，旨在为果实采摘类操作任务提供标准化基准。该数据集包含5个完整操作序列，涵盖肩部平移、肘部屈伸等6自由度关节控制维度，配合480×640分辨率的视觉流数据，为机器人精细操作策略开发奠定了数据基础。

当前挑战

果实采摘任务面临动态环境适应性与精细操作精度双重挑战，需解决非结构化场景中目标识别定位、机械臂避障轨迹规划等核心问题。数据集构建过程中，同步采集高维关节控制信号与视觉观测数据对硬件同步精度提出严苛要求，而操作示范的时序一致性保障与多模态数据对齐亦构成技术难点。此外，有限的任务场景覆盖度与样本规模对模型泛化能力形成制约，需通过数据增强与迁移学习策略予以突破。

常用场景

经典使用场景

在机器人操作学习领域，pick_mango数据集为机械臂抓取任务提供了标准化的实验平台。该数据集通过记录六自由度机械臂在采摘芒果过程中的关节位置、夹爪状态及视觉观测数据，构建了完整的动作-状态序列。研究人员可基于这些多模态数据训练强化学习模型，探索机械臂在复杂环境下的运动规划策略，为机器人自主操作研究奠定数据基础。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其多模态特性，研究者开发了融合视觉与本体感知的端到端控制架构，实现了更精准的动作预测。在模仿学习方向，衍生出基于时空注意力的行为克隆方法，有效提升了策略泛化性能。同时，其标准化的数据格式促进了不同算法在相同基准下的公平比较，加速了机器人操作技术的迭代发展。

数据集最近研究

最新研究方向

在机器人操作学习领域，pick_mango数据集凭借其多模态特征结构成为模仿学习研究的重要载体。当前研究聚焦于从视觉感知到关节控制的端到端策略生成，通过融合第一视角图像与六自由度机械臂动作数据，探索复杂场景下的动态抓取泛化能力。随着具身智能概念的兴起，该数据集正被用于构建视觉-运动协同映射模型，推动机器人适应非结构化环境的自主决策水平发展，为农业自动化采摘等实际应用提供算法验证基础。