pick-and-place-one-fruit

这是一个关于机器人任务的数据集，包含了机器人识别和抓取香蕉和草莓的实验数据。数据集共有522个剧集，194659帧，2个任务。数据以Parquet文件格式存储，并提供了相应的视频文件。数据集的特征包括机器人的动作、观察状态、以及从不同角度捕获的图像。

原始信息汇总

数据集概述

基本信息

• 名称: pick-and-place-one-fruit
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot

数据集任务提示

实验1

• 香蕉: "识别平放在桌子上的长黄色香蕉。接近并抓住弯曲黄色水果的中间部分。抬起香蕉并小心地放入黄色篮子中。"
• 草莓: "定位桌子表面上的小红色草莓。用机器人夹爪牢固抓住圆形红色水果。将草莓运送到黄色篮子中并释放。"

实验2

• 香蕉: "定位桌子上的长弯曲香蕉，抓住其中部，放入黄色篮子中。"
• 草莓: "定位桌子上的小红色草莓，牢固抓住，放入黄色篮子中。"

实验3

• 香蕉: "从桌子上拿起香蕉放入篮子中。"
• 草莓: "从桌子上拿起草莓放入篮子中。"

数据集结构

统计信息

• 总情节数: 522
• 总帧数: 194,659
• 总任务数: 2
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 50 FPS
• 分割: 训练集 (0:522)

数据特征

动作特征

• 数据类型: float32
• 维度: 14
• 包含关节位置:
  • 左肩平移、左肩抬升、左肘弯曲、左前臂旋转、左腕弯曲、左腕旋转、左夹爪
  • 右肩平移、右肩抬升、右肘弯曲、右前臂旋转、右腕弯曲、右腕旋转、右夹爪

观测特征

• 状态观测: 与动作特征相同的14维关节位置数据
• 图像观测:
  • 左摄像头: 376×672×3分辨率，AV1编码
  • 顶部摄像头: 376×672×3分辨率，AV1编码
  • 右摄像头: 376×672×3分辨率，AV1编码

元数据特征

• 时间戳: float32类型
• 帧索引: int64类型
• 情节索引: int64类型
• 数据索引: int64类型
• 任务索引: int64类型

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

机器人信息

• 机器人类型: bi_piper_follower
• 代码库版本: v3.0

搜集汇总

数据集介绍

构建方式

在机器人操作领域，pick-and-place-one-fruit数据集通过LeRobot平台系统构建，涵盖了522个完整操作片段，总计194,659帧数据。数据采集采用双Piper Follower机器人执行香蕉和草莓的拾放任务，以50帧每秒的速率记录多视角视觉信息与14维关节状态。实验设计包含三种逐步简化的语言指令范式，从详细动作描述到简洁任务目标，数据以分块Parquet格式存储，确保高效访问与处理。

特点

该数据集显著特点在于其多模态数据融合，集成左、顶、右三路高分辨率视觉流与精确关节动作轨迹。任务设计聚焦单一水果操作，通过结构化指令展现语言到动作的映射关系。数据规模涵盖194,659帧连续操作序列，以50Hz同步记录机械臂位姿与环境视觉变化，为模仿学习研究提供密集标注样本。特征维度包含14自由度关节控制与376×672像素三通道图像，形成时空对齐的机器人操作观测体系。

使用方法

研究者可通过加载Parquet数据文件获取分块存储的机器人操作记录，每块包含1000帧连续序列。数据使用需遵循Apache 2.0许可协议，支持直接读取动作指令、关节状态和多视角视频流。训练集包含全部522个任务片段，用户可基于帧索引重建完整操作轨迹，或利用任务索引分离香蕉与草莓操作场景。视频数据采用AV1编码存储，配合元数据文件可快速解析时空对齐的机器人感知-动作耦合关系。

背景与挑战

背景概述

机器人操作任务数据集作为智能系统研发的重要基础资源，其发展始终与机械臂控制、视觉感知等核心领域紧密相连。pick-and-place-one-fruit数据集由LeRobot团队基于Apache 2.0协议构建，聚焦于双足机器人执行水果抓取与放置的精细化操作。该数据集通过522个任务片段、近20万帧多视角视觉数据与14维关节动作记录，系统呈现了香蕉与草莓两种异形物体的操作范式，为机器人动作规划与感知决策研究提供了结构化实验平台。

当前挑战

在机器人抓取领域，该数据集需应对非刚性物体形变控制与多视角视觉对齐的双重挑战。香蕉的弯曲形态与草莓的脆弱结构要求机械臂在抓取过程中精确计算接触点与施力强度，而三路摄像头数据的时空同步则增加了感知模块的复杂度。数据构建阶段面临动作轨迹平滑性与任务指令多样化的平衡难题，既要保证14个关节电机控制的连续性，又需通过三种渐进式语言指令实现操作逻辑的泛化表达。

常用场景

经典使用场景

在机器人操作领域，pick-and-place-one-fruit数据集为抓取与放置任务提供了标准化实验平台。该数据集通过522个完整交互序列，记录了双机械臂系统对香蕉和草莓的精细操作过程，涵盖从目标识别到精准放置的全流程。其多视角视频流与14维关节动作数据的同步采集，为模仿学习算法提供了真实世界的动态交互模板，成为机器人技能迁移研究的基准测试环境。

解决学术问题

该数据集有效解决了机器人操作中动作规划与视觉感知的耦合难题。通过提供结构化任务提示与多模态观测数据，支持端到端策略学习方法的验证，显著降低了现实场景中物体形变适应与抓取力控制的研究门槛。其丰富的时空动作序列为理解机器人操作中的状态转移规律提供了数据支撑，推动了从示教学习到自主决策的理论突破。

衍生相关工作

受该数据集启发，研究者开发了基于时空注意力机制的抓取轨迹生成网络。LeRobot团队进一步扩展了多物体操作数据集，构建了从单任务模仿到多任务泛化的技术路线。相关成果催生了层次化策略学习框架，将基础抓取技能与高级任务规划相结合，为具身智能研究提供了可复现的实验范式与性能评估标准。